Крихітний суперкомп'ютер може запустити ШІ-моделі з 200 мільярдами параметрів: деталі

На виставці CES 2025 генеральний директор Nvidia Дженсен Хуан анонсував комп'ютер DIGITS. Про це пише Interesting Engineering.

DIGITS — персональний суперкомп'ютер зі штучним інтелектом, покликаний розширити можливості дослідників, спеціалістів з опрацювання даних і студентів по всьому світу.

В основі пристрою лежить Nvidia GB10 Grace Blackwell Superchip, що пропонує петафлопс продуктивності з точністю FP4. Ця система на чіпі (SoC) об'єднує графічний процесор Blackwell з ядрами CUDA і тензорними ядрами з центральним процесором Grace, побудованим на архітектурі Arm. GB10 використовує NVLink-C2C для безшовного зв'язку між чіпами, забезпечуючи високу продуктивність.

Комп'ютер має 128 ГБ уніфікованої пам'яті та до 4 ТБ сховища NVMe, що дає йому змогу обробляти моделі ШІ з 200 мільярдами параметрів. Об'єднавши дві системи DIGITS через мережу NVIDIA ConnectX, користувачі можуть розширити цю можливість, керуючи моделями з 405 мільярдами параметрів.

DIGITS легко інтегрується в екосистему ШІ Nvidia. Користувачі можуть прототипувати моделі ШІ локально на своїх системах, що працюють під управлінням ОС Nvidia DGX на базі Linux, і легко масштабувати ці моделі в хмарних середовищах Nvidia DGX або центрах обробки даних.

Розробники мають доступ до багатого набору інструментів через каталог Nvidia NGC, включно з комплектами розробки ПЗ, фреймворками та іншими інструментами. Розширені додатки ШІ можуть бути створені з використанням Nvidia Blueprints, мікросервісів NIM і фреймворка NeMo для тонкого налаштування моделей. Підтримка популярних інструментів, таких як PyTorch і Jupyter Notebooks, підвищує зручність використання.

Коли додатки готові до розгортання, ліцензія Nvidia AI Enterprise забезпечує необхідну безпеку і підтримку корпоративного рівня, гарантуючи плавний перехід від експериментів до виробництва.

Нагадаємо, вперше в історії світового боксу за поєдинком в Ер-Ріяді стежитиме суддя зі штучним інтелектом, вільний від упередженості та людських помилок. Дебют такого рефері є експериментом, який не вплине на офіційні результати.