Google ogłosił niedawno wydanie nowych modeli sztucznej inteligencji znanych jako Gemini, towarzysząc temu z wydaniem najnowszej wersji flagowego procesora tensorowego (TPU) w celu nauczania i wycofywania sztucznej inteligencji (AI). Widok Google ten krok jako strategiczna próba konkurowania z procesorami graficznymi, zwłaszcza liderami rynku - procesory graficzne (GPU) z NVIDIA.
TPU V5P, który jest najpotężniejszym akceleratorem AI z Google, był zaangażowany w pracę nad AI Hypercomputer, architekturą superkomputerów, specjalnie zaprojektowaną do wykonywania zadań sztucznej inteligencji. Różni się to od zwykłych superkomputerów, które są tradycyjnie stosowane do obliczeń naukowych.
Najnowsza wersja TPU zawiera 8,960 układów na system systemu, co stanowi znaczący wzrost w porównaniu do 4,096 w poprzedniej wersji V4. Jest także czterokrotnie większy niż plan klap na węzeł. Nowe węzły zapewniają uderzającą przepustowość w 4,800 Gb / s i 95 GB pamięci o wysokiej prędkości (HBM) w porównaniu z 32 GB HBM pamięci RAM w TPU V4.
Ważną różnicą między NVIDIA H100 i Google TPU V5P jest to, że Google nie oferuje TPU na sprzedaż innym firmom; Są one używane wyłącznie w firmie do własnych produktów i usług. Google TPUS był używany od dawna do obsługi różnych usług, takich jak Gmail, YouTube i Android. Nowa wersja została również wykorzystana do nauczania modelu Gemini.
Google V5P TPU uczy większych modeli językowych 2,8 razy szybciej niż TPU V4 i oferuje 2,1 razy więcej wartości niż pieniądze. W porównaniu z pośrednią wersją TPU V5E, wydanej na początku tego roku, TPU V5P jest najpotężniejszą opcją, nawet jeśli wersja V5E oferuje najwyższą wartość, która staje się 1,9 razy szybsza niż TPU V4.
Co ciekawe, TPU V5P okazało się potężne w konkurencji z szeroko stosowanym procesorem graficznym H100 z NVIDIA, który jest czterokrotnie szybszy niż obciążenia niż GPU A100 z NVIDIA, według firmy.
Jednak TPU V4 z Google, zgodnie z badaniem opublikowanym w kwietniu, jest 1,2-1,7 razy szybszy niż A100. Poprzednie obliczenia wskazują, że TPU V5P jest około 3,4-4,8 razy szybciej niż A100, umieszczając go na poziomie lub nawet wyższym niż H100. Jednak ostateczne wnioski wymagają bardziej szczegółowych testów.
