Исследователи BitEnergy AI разработали новый алгоритм умножения, который снизит энергопотребление вычислений ИИ на 95%

Продолжается бум искусственного интеллекта.

Крупнейшие технологические компании вкладывают огромные средства в развитие этой сферы и новые вычислительные центры.

Но стремительное наращивание вычислительной инфраструктуры приводит к серьезному росту энергопотребления, что в ближайшем будущем может стать определенной проблемой.

Сейчас ChatGPT требует около 564 МВт∙ч ежедневно, чего хватило бы для питания 18 тысяч американских домов.

И общее энергопотребление дата-центров ИИ будет только расти.

Специалисты прогнозируют, что к 2027 году ИИ может потреблять от 85 до 134 ТВт∙ч в год.

Поэтому ведущие игроки на рынке уже рассматривают варианты с малыми атомными реакторами, которые будут использоваться исключительно для питания ЦОД.

С другой стороны, разные компании и исследователи ищут пути оптимизации вычислений.

Инженеры из Bit.

Energy AI готовы предложит свой вариант экономии, который снизит энергопотребление вычислительных систем ИИ на внушительные 95%.

Они предлагают новый алгоритм целочисленного линейно-сложного умножения (Linear-Complexity Multiplication) вместо привычных операций умножения с плавающей точкой.

Операции с плавающей точкой позволяют выполнять вычисления с высокой точностью, но это одновременно самая энергоемкая операция при работе с ИИ.

Новый алгоритм Linear-Complexity Multiplication использует метод аппроксимации сложного умножения с плавающей точкой более простыми операциями целочисленного сложения.

При этом экономия энергии составит 95% для тензорных умножений и 80% процентов для скалярных произведений.

Тестирование доказало, что такая замена позволяет сохранить нужную точность при выводе ИИ.

Linear-Complexity Multiplication даже превосходит текущие 8-битные вычислительные стандарты, достигая более высокой точности с меньшим количеством вычислений.

Этот алгоритм можно интегрировать в GPT.

Тесты в популярных моделях Llama и Mistral показали лучшую точность в некоторых задачах.

Главная проблема нового алгоритма в том, что он потребует нового аппаратного обеспечения.

А в этом могут быть не заинтересованы ведущие производители оборудования, включая Nvidia.

Хорошая новость в том, что уже есть планы по разработке специального оборудования и программных API под новый метод, но не упоминается, о каких компаниях идет речь.