Ускоритель вычислений Intel Gaudi 2 быстрее Nvidia H100 в Stable Diffusion

Компания Nvidia является лидером на рынке вычислительного оборудования для искусственного интеллекта.

Зеленая корпорация зарабатывает миллиарды, а новые устройства отгружаются тоннами.

При этом альтернативные решения есть как у AMD, так и у Intel.

Последняя предлагает мощный ускоритель вычислений Gaudi 2, о котором мало слышно в новостях, но он имеет высокий потенциал.

Компания Stability AI, которая разрабатывает известный ИИ Stable Diffusion, поделилась своими тестами Intel Gaudi 2 и Nvidia H100.

И внезапно оказалось, что ускоритель Intel обеспечивает лучшие результаты.

В вычислениях новой модели Stable Diffusion 3 ускоритель Intel Gaudi 2 показал исключительные результаты.

Для тестирования запускалась модель с 2 миллиардами параметров на двух узлах по 16 ускорителей.

Оказалось, что конфигурация с Gaudi 2 обеспечивает обработку изображений на 56% быстрее! А если сравнивать с более старыми Nvidia A100, то разница в 2,4 раза!.

Также приведены результаты вычислений модели Stable Beluga 2.5 с 70 миллиардами параметров на базе модели LLaMA 2.

Без дополнительных операций и оптимизаций при управлении Py.

Torch конфигурация из 256 ускорителей Gaudi 2 обеспечивает среднюю пропускную способность 116777 токенов в секунду, что на 28% быстрее конфигурации из A100.

Устройство Intel Gaudi 2 базируется на мощном чипе собственной архитектуры.

Известно, что он ориентирован на гетерогенные вычисления, оснащен 24 большими тензорными ядрами, имеет 48 МБ SRAM и 96 гигабайт памяти HBM2e, плюс 24 интегрированных Gigabit Ethernet.

Большой объем памяти может быть одним из факторов, определившим успех Gaudi 2 в тестах.

Оригинальный ускоритель Nvidia H100 оснащен 80 гигабайтами, а этого уже маловато для больших моделей ИИ.

Но надо помнить, что зеленый гигант уже анонсирован H200 с 141 ГБ памяти HBM3e.