Intel анонсировала ИИ-ускоритель Gaudi 3, который быстрее Nvidia H100

На мероприятии Intel Vision компания представила и показала свой новый ускоритель для вычислений искусственного интеллекта Gaudi 3.

В его основе большой процессор с несколькими кристаллами, включая два больших вычислительных блока и несколько блоков памяти.

Новый ускоритель обеспечивает пиковую производительность FP8 до 1835 TFLOPS и должен быть быстрее популярного ускорителя Nvidia H100.

Процессор Gaudi 3насчитывает 64 тензорных ядра пятого поколения (по 32 на одно большое GPU-ядро), 96 МБ скоростной кэш-памяти SRAM и 128 ГБ памяти HBM2e (8 стеков) с пропускной способностью 3,7 ТБ/с.

И все это объединено в один большой чип на одной подложке, который производится на базе техпроцесса 5 нм TSMC.

Поддерживается до 24 линий 200 Gigabit Ethernet для создания комплексных масштабируемых вычислительных систем.

Ускорители Intel Gaudi 3 AI будут выпускаться в форм-факторе OAM (OCP Accelerator Module) HL-325L с мощностью до 900 Вт для высокопроизводительных серверных решений с возможностью водяного охлаждения.

Также будут доступны ускорители Gaudi 3 HL-338 под PCIe с TDP 600 Вт и характеристиками идентичными OAM.

Одновременно анонсирована базовая плата HLB-325 и система HLFB-325L, которая может включать до 8 ускорителей Gaudi 3.

Такая система имеет совокупный TDP в 7,6 к.

Вт при размере 19 дюймов.

В своих материалах Intel активно сравнивает новый ускоритель с Nvidia H100 и Nvidia H200.

И новый Intel Gaudi 3 заметно лучше справляется с обучением разных моделей ИИ, показывая преимущество от 1,4 до 1,7 раз.

При выводе разница уже заметно ниже.

Но с точки зрения энергоэффективности Gaudi 3 лучше в 1,2-2,3 раза, в зависимости от области вычислений и конкретной модели ИИ.

Первые образцы ускорителя Intel Gaudi 3 AI будут доступны партнерам в первой половине 2024 года.

Но отгрузка крупных партий начнется не ранее второй половины года.