ChatGPT «думає» китайською — користувачі помітили ієрогліфи в обґрунтованнях моделі

ChatGPT з мовною моделлю o1 витрачає «більше часу на роздуми» для кращої відповіді. Користувачі виявили, що «роздуми» іноді відбуваються китайською, незалежно від мови запиту.

Схоже, алгоритм «мислить» не лише англійською, а й іншими мовами, зокрема китайською. Більшість звертає увагу лише на кінцеву відповідь, але користувачі мають можливість подивитися, як ChatGPT її формує та обґрунтовує. У цьому місці багато людей помітили, що LLM почала включати мандаринську та кантонську у процес. Також модель використовує й інші мови.

Найпростішим, що може спасти на думку, є використання китайських даних для навчання. Представники індустрії, зокрема Ілон Маск, визнають дефіцит даних для навчання моделей. Але складніше пояснення полягає у принципі роботи мовних моделей, які недарма називаються саме так. Можливо, суть у тому, що інші мови працюють інакше, та можуть виявитися більше ефективними у формування відповіді. Модель виявляє, що у якійсь ситуації китайські чи інші конструкції працюватимуть краще, а користувачу надають кінцеву відповідь тією мовою, якою він ставить запит.

Справжню причину складно з’ясувати з огляду на закритість мовних моделей, і справа не лише в корпоративних обмеженнях. OpenAI свого часу визнала, що насправді не знає, як працює модель GPT. Справді, розробникам відома лише технічна сторона, і меншою мірою як саме «мислить» модель. Наразі ж OpenAI не надала відповідей на питання користувачів та запити журналістів. Не виключено, що компанія просто не знає їх.

Джерело: Gizmodo