Новий стартап знає скільки електроенергії споживають ваші повідомлення чат-бота

Ви коли-небудь замислювалися, скільки електроенергії ви використовуєте, коли запитуєте або дякуєте моделі ШІ? Інженер Hugging Face Жульєн Делаванд це зробив, тож створив інструмент , який допоможе знайти відповідь.

Моделі штучного інтелекту споживають енергію під час кожного запуску. Вони працюють на графічних процесорах і спеціалізованих чіпах, яким потрібна велика потужність для виконання відповідних обчислювальних навантажень у масштабі. Визначити енергоспоживання моделі нелегко, але багато хто очікує , що зростання використання технологій штучного інтелекту підніме потреби в електроенергії до нових висот у наступні пару років.

Попит на більшу потужність для розвитку штучного інтелекту змусив деякі компанії застосовувати екологічно недружні стратегії. Такі інструменти, як Delavande, мають на меті привернути до цього увагу та, можливо, змусити деяких користувачів ШІ задуматися.

«Навіть невелика економія енергії може збільшитися на мільйони запитів — вибір моделі або довжина виведення може призвести до значного впливу на навколишнє середовище», — написали Делаванде та інші розробники інструменту в заяві .

Інструмент Delavande розроблено для роботи з інтерфейсом Chat UI, інтерфейсом із відкритим кодом для таких моделей, як Llama 3.3 70B від Meta та Gemma 3 від Google. Інструмент оцінює енергоспоживання повідомлень, надісланих до моделі та від неї, у режимі реального часу, повідомляючи про споживання у ват-годинах або джоулях. Він також порівнює енергоспоживання моделі зі звичайними побутовими приладами, такими як мікрохвильові печі та світлодіоди.

Згідно з інструментом, щоб попросити Llama 3.3 70B написати типовий електронний лист, витрачається приблизно 0,1841 ват-годин, що еквівалентно роботі мікрохвильової печі на 0,12 секунди або використанню тостера на 0,02 секунди.

Варто пам’ятати, що оцінки інструменту є лише оцінками. Delavande не стверджує, що вони неймовірно точні. З усім тим, вони служать нагадуванням про те, що все, включаючи чат-боти, має свою ціну.

"За допомогою таких проектів, як енергетичний рейтинг штучного інтелекту та ширшого дослідження енергетичного сліду штучного інтелекту, ми наполягаємо на прозорості в спільноті відкритих кодів. Одного разу споживання енергії може бути таким же видимим, як етикетки харчової цінності на їжі!" Делаванде та його співавтори написали.