Керівники Meta одержимі перемогою над GPT-4 OpenAI

Відповідно до внутрішніх повідомлень, розкритих судом в одній із поточних справ компанії про авторські права на штучний інтелект, Керівники та дослідники, які керують зусиллями Meta щодо штучного інтелекту, були одержимі перемогою над моделлю OpenAI GPT-4 під час розробки Llama 3.

«Чесно кажучи… Нашою метою має бути GPT-4», — сказав віцепрезидент Meta з Generative AI Ахмад Аль-Дале в повідомленні досліднику Meta Х’юго Туврону в жовтні 2023 року. «У нас є 64 тис. графічних процесорів! Нам потрібно навчитися будувати кордон і виграти цю гонитву».

Хоча Meta випускає відкриті моделі штучного інтелекту, лідери компанії зі штучного інтелекту були набагато більше зосереджені на тому, щоб перемогти конкурентів, які зазвичай не оприлюднюють ваги своїх моделей, як-от Anthropic і OpenAI, а натомість обмежуються API. Керівники та дослідники Meta назвали Claude від Anthropic і GPT-4 від OpenAI золотим стандартом, над яким слід працювати.

Французький стартап зі штучним інтелектом Mistral, один із найбільших відкритих конкурентів Meta, кілька разів згадувався у внутрішніх повідомленнях, але тон був зневажливим.

"Містраль - це арахіс для нас", - сказав Аль-Дале в повідомленні. «Ми повинні бути в змозі зробити краще», — сказав він пізніше.

Сьогодні технічні компанії змагаються, щоб випередити одна одну з передовими моделями штучного інтелекту, але ці судові справи показують, наскільки конкурентоспроможними були лідери Meta у сфері штучного інтелекту насправді — і, здається, досі залишаються . У кілька моментів обміну повідомленнями керівники Meta зі штучного інтелекту говорили про те, що вони були «дуже агресивними» в отриманні потрібних даних для навчання Лами; в один момент керівник навіть сказав, що «Llama 3 — це буквально все, що мене хвилює», у повідомленні колегам.

Прокурори у цій справі стверджують, що керівництво Meta час від часу робило перешкоди у своїй божевільній гонитві за розсилкою моделей штучного інтелекту, навчаючись під час роботи з книгами, захищеними авторським правом.

Туврон зазначив у повідомленні, що поєднання наборів даних, використаних для Llama 2, «було поганим», і розповів про те, як Meta може використовувати краще поєднання джерел даних для покращення Llama 3. Потім Туврон і Аль-Дале говорили про розчищення шляху для використання набір даних LibGen, який містить захищені авторським правом роботи від Cengage Learning, Macmillan Learning, McGraw Hill і Pearson Education.

«Чи є у нас потрібні набори даних [?]», — сказав Аль-Дале. «Чи є щось, що ви хотіли використати, але не змогли з якоїсь дурної причини?»

Генеральний директор Meta Марк Цукерберг раніше заявляв, що намагається скоротити розрив у продуктивності між моделями штучного інтелекту Llama та закритими моделями OpenAI, Google та інших. Внутрішні повідомлення показують сильний тиск всередині компанії, щоб це зробити.

«Цього року Llama 3 конкурентоспроможна з найдосконалішими моделями та лідирує в деяких сферах, — сказав Цукерберг у листі від липня 2024 року. — Починаючи з наступного року, ми очікуємо, що майбутні моделі Llama стануть найдосконалішими в галузі».

Коли Meta остаточно випустила Llama 3 у квітні 2024 року , відкрита модель штучного інтелекту була конкурентоспроможною з провідними закритими моделями від Google, OpenAI та Anthropic і перевершила відкриті варіанти від Mistral. Однак дані, які Meta використовувала для навчання своїх моделей (дані, як повідомляється, Цукерберг дав зелене світло на використання, попри статус авторських прав), підлягають перевірці в кількох поточних судових процесах.