Microsoft и NVIDIA создали крупнейшую в мире генеративную языковую ИИ-модель с 530 миллиардами параметров

Microsoft и NVIDIA совместными усилиями создали модель генерации естественного языка Megatron-Turing Natural Language Generation — она содержит 530 миллиардов параметров, что делает ее самой большой и самой мощной в своем классе.

MT-NLG, созданная в рамках сотрудничества Microsoft и NVIDIA, имеет в 3 раза больше параметров по сравнению с существующей крупнейшей моделью такого типа и обеспечивает более высокую точность в широком наборе задач естественного языка.

Ключевыми сценариями для этой системы являются:

• Предсказание завершения текста по смыслу;
• Понимание прочитанного;
• Генерация логических выводов;
• Создание заключений на естественном языке;
• Различение смысла слов с несколькими значениями.

Для обучения столь масштабной модели NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с передовым программным стеком распределенного обучения. Также партеры создали базы данных естественного языка, включающие сотни миллиардов единиц контента, а разработали новые методы обучения для повышения эффективности и стабильности оптимизации.