Google недавно объявила о выпуске новых моделей искусственного интеллекта, известных как Gemini, сопровождая это выпуском последней версии своего флагманского тензорного процессора (TPU) для обучения и вывода искусственного интеллекта (ШИ). Этот шаг Google рассматривает как стратегическую попытку конкурировать с графическими процессорами, особенно с лидерами рынка – графическими процессорами (GPU) от Nvidia.
TPU v5p, являющийся самым мощным ускорителем ИИ от Google, был задействован для работы на "AI Hypercomputer" - суперкомпьютерной архитектуре, специально разработанной для выполнения задач искусственного интеллекта. Это отличается от обычных суперкомпьютеров, традиционно используемых для научных вычислений.
Последняя версия TPU включает 8,960 чипов на каждый узел системы, что является значительным ростом по сравнению с 4,096 в предыдущей версии v4. Она также в четыре раза больше масштабируется в плане FLOPs на узел. Новые узлы обеспечивают поразительную пропускную способность в 4,800Gbps и оборудованы 95GB высокоскоростной памяти (HBM) по сравнению с 32GB HBM RAM у TPU v4.
Важным отличием между Nvidia H100 и Google TPU v5p является то, что Google не предлагает свои TPUs для продажи другим компаниям; они используются исключительно внутри компании для своих продуктов и сервисов. TPU от Google уже долгое время используются для поддержки различных сервисов, таких как Gmail, YouTube и Android. Новая версия также была использована для обучения модели Gemini.
TPU v5p от Google обучает большие языковые модели в 2.8 раза быстрее, чем TPU v4, и предлагает в 2.1 раза больше ценности за деньги. По сравнению с промежуточной версией TPU v5e, выпущенной ранее в этом году, TPU v5p кажется наиболее мощным вариантом, даже если версия v5e предлагает наибольшую ценность, которая становится 1.9 раза быстрее, чем TPU v4.
Интересно, что TPU v5p оказался достаточно мощным для конкуренции с широко используемым графическим процессором H100 от Nvidia, который вчетверо быстрее обрабатывает рабочие нагрузки, чем GPU A100 от Nvidia, согласно данным компании.
Однако TPU v4 от Google, согласно исследованию, опубликованному в апреле, быстрее в 1.2-1.7 раза, чем A100. Предварительные расчеты свидетельствуют, что TPU v5p приблизительно в 3.4-4.8 раза быстрее, чем A100, размещая его на уровне или даже выше H100. Однако для окончательных выводов необходимы более подробные тесты.
