Колишній керівник політики OpenAI критикує компанію за «переписування» своєї історії безпеки ШІ

Відомий колишній дослідник політики OpenAI Майлз Брандейдж виступив у соціальних мережах , щоб розкритикувати OpenAI за «переписування історії» свого підходу до розгортання потенційно ризикованих систем ШІ.

Раніше цього тижня OpenAI опублікував документ, у якому викладено його поточну філософію щодо безпеки та узгодження штучного інтелекту, процесу розробки систем штучного інтелекту, які поводяться бажаним і зрозумілим чином. У документі OpenAI стверджує, що розглядає розробку AGI, яка в широкому сенсі визначається як системи ШІ, які можуть виконувати будь-яке завдання, яке може виконати людина, як «безперервний шлях», який вимагає «ітеративного розгортання та навчання» технологій ШІ.

«У безперервному світі […] уроки безпеки виходять із надзвичайно обережного ставлення до сучасних систем щодо їхньої очевидної потужності, [що] є підходом, який ми застосували для [нашої моделі AI] GPT‑2», — написав OpenAI. «Тепер ми розглядаємо перший AGI лише як одну точку в серії систем, що зростають у корисності […] У безперервному світі спосіб зробити наступну систему безпечною та корисною — це вчитися на поточній системі».

Але Брундейдж стверджує, що GPT-2 справді вимагав великої обережності під час свого випуску, і що це «на 100% узгоджувалося» з ітеративною стратегією розгортання OpenAI сьогодні.

«Випуск OpenAI GPT-2, у якому я брав участь, на 100% відповідав [і] передвіщав поточну філософію OpenAI про ітераційне розгортання», — написав Брандадж у дописі на X. «Модель випускалася поетапно, уроки ділилися на кожному кроці. Багато експертів з безпеки того часу дякували нам за цю обережність».

Брандадж, який приєднався до OpenAI як науковий співробітник у 2018 році, кілька років очолював відділ політичних досліджень компанії. У команді «готовності до AGI» OpenAI він приділяв особливу увагу відповідальному розгортанню систем генерації мови, таких як платформа чат-ботів OpenAI AI ChatGPT.

GPT-2 , який OpenAI анонсував у 2019 році, був прабатьком систем штучного інтелекту, що працюють із ChatGPT . GPT-2 може відповідати на запитання щодо теми, підсумовувати статті та генерувати текст на рівні, який іноді неможливо відрізнити від людського.

Хоча GPT-2 і його результати можуть виглядати просто сьогодні, вони були найсучаснішими на той час. Посилаючись на ризик зловмисного використання, OpenAI спочатку відмовився опублікувати вихідний код GPT-2, вирішивши замість того, щоб надати вибраним виданням новин обмежений доступ до демонстрації.

Рішення було зустрінуте неоднозначною оцінкою індустрії ШІ. Багато експертів стверджували, що загроза, яку становить GPT-2, була перебільшеною , і що немає жодних доказів того, що моделлю можна зловживати, як описано OpenAI. Видання The Gradient, орієнтоване на штучний інтелект, пішло так далеко, що опублікувало відкритого листа з проханням, щоб OpenAI випустив модель, стверджуючи, що вона надто технологічно важлива, щоб утримуватися.

Зрештою OpenAI випустив часткову версію GPT-2 через шість місяців після оприлюднення моделі, а через кілька місяців — повну систему. Брандадж вважає, що це був правильний підхід.

«Яка частина [випуску GPT-2] була мотивована або заснована на тому, що AGI є непостійним? Нічого з цього», – сказав він у дописі на X. «Які докази того, що це застереження було «непропорційним» ex ante? Ex post, it prob. було б добре, але це не означає, що він був відповідальний перед YOLO за те [sic], що надав інформацію в той час».

Брандадж побоюється, що мета OpenAI у цьому документі полягає в тому, щоб встановити тягар доказів, коли «занепокоєння викликають тривогу» і «вам потрібні переконливі докази неминучої небезпеки, щоб діяти щодо них». Він стверджує, що це «дуже небезпечний» менталітет для передових систем ШІ.

«Якби я все ще працював у OpenAI, я б запитав, чому цей [документ] був написаний саме так, як він був, і чого саме OpenAI сподівається досягти, виявляючи таку однобоку обережність», — додав Брандадж.

Історично OpenAI  звинувачували  в тому, що він віддає перевагу «блискучим продуктам» на шкоду безпеці та  поспішає випускати продукти  , щоб випередити компанії-конкуренти на ринку. Минулого року OpenAI розпустила свою команду з підготовки до AGI, і низка дослідників із безпеки та політики штучного інтелекту залишила компанію до конкурентів.

Конкурентний тиск тільки посилився. Китайська лабораторія штучного інтелекту DeepSeek привернула увагу світу своєю відкрито доступною моделлю R1 , яка збігалася з моделлю «обґрунтування» OpenAI o1 за низкою ключових тестів. Генеральний директор OpenAI Сем Альтман  визнав  , що DeepSeek зменшив технологічну перевагу OpenAI, і  сказав  , що OpenAI «підтягне деякі випуски», щоб краще конкурувати.

На кону багато грошей. OpenAI щорічно втрачає мільярди, і компанія, як повідомляється, прогнозує, що її річні збитки можуть потроїтися до 14 мільярдів доларів до 2026 року. Швидший цикл випуску продукту може вплинути на прибутки OpenAI у найближчій перспективі, але, можливо, за рахунок безпеки в довгостроковій перспективі. Такі експерти, як Брундейдж, сумніваються, чи вартий компроміс.