Розробно новий тест, що дозволяє перевірити як чат-боти AI реагують на суперечливі теми

Розробник під псевдонімом створив те, що називають «оцінкою свободи слова», SpeechMap , для моделей AI, які працюють у чат-ботах, таких як ChatGPT від OpenAI та Grok від X. Мета полягає в тому, щоб порівняти, як різні моделі розглядають делікатні та суперечливі теми, сказав розробник TechCrunch, включаючи політичну критику та питання про громадянські права та протести.

Компанії зі штучним інтелектом зосереджуються на точному налаштуванні того, як їхні моделі обробляють певні теми, оскільки деякі союзники Білого дому звинувачують популярних чат-ботів у тому, що вони надмірно «прокинулися». Багато близьких людей президента Дональда Трампа, такі як Ілон Маск і «цар» криптовалюти та ШІ Девід Сакс, стверджували, що чат-боти  піддають цензурі консервативні погляди .

Хоча жодна з цих компаній штучного інтелекту не відповіла прямо на звинувачення, деякі з них пообіцяли скорегувати свої моделі, щоб рідше відмовлятися відповідати на спірні запитання. Наприклад, для своєї останньої колекції моделей Llama Meta сказала, що налаштувала моделі, щоб вони не схвалювали «одні погляди над іншими», а відповідали на більш «обговорювані» політичні підказки.

Розробник SpeechMap, який використовує ім’я користувача « xlr8harder » на X, сказав, що вони були вмотивовані допомогти в обговоренні того, що моделі повинні, а що ні.

«Я думаю, що такі дискусії мають відбуватися публічно, а не лише в штаб-квартирі компанії», — сказав xlr8harder електронною поштою TechCrunch. «Ось чому я створив сайт, щоб будь-хто міг досліджувати дані самостійно».

SpeechMap використовує моделі штучного інтелекту, щоб визначити, чи відповідають інші моделі заданому набору тестових запитів. Підказки стосуються різноманітних тем – від політики до історичних наративів і національних символів. SpeechMap записує, чи моделі «повністю» задовольняють запит (тобто відповідають на нього без страхування), дають «ухильні» відповіді чи категорично відмовляються відповідати.

Xlr8harder визнає, що тест має недоліки, як-от «шум» через помилки постачальника моделі. Також можливо, що моделі «судді» містять упередження, які можуть вплинути на результати.

Але якщо припустити, що проєкт було створено добросовісно, ​​а дані точні, SpeechMap виявляє деякі цікаві тенденції.

Наприклад, за даними SpeechMap, моделі OpenAI з часом все частіше відмовляються відповідати на запити, пов’язані з політикою. Останні моделі компанії, сімейство GPT-4.1 , є дещо більш дозволеними, але вони все одно на крок нижче від одного з випусків OpenAI минулого року.

У лютому OpenAI заявив, що налаштує майбутні моделі таким чином, щоб вони не займали редакційну позицію та пропонували різні погляду на суперечливі теми — усе це намагатиметься зробити свої моделі більш «нейтральними».

Згідно з бенчмаркінгом SpeechMap, найвдоволенішою моделлю в групі є Grok 3 , розроблений стартапом xAI Ілона Маска зі штучним інтелектом. Grok 3 підтримує ряд функцій на X, включаючи чат-бот Grok.

Grok 3 реагує на 96,2% тестових підказок SpeechMap, у порівнянні зі світовим середнім «рівнем відповідності» 71,3%.

«Хоча останні моделі OpenAI з часом стали менш дозволеними, особливо щодо політично чутливих підказок, xAI рухається у протилежному напрямку», — сказав xlr8harder.

Коли Маск анонсував Grok приблизно два роки тому, він представив модель штучного інтелекту як різку, нефільтровану та проти «пробудження» — загалом, готовий відповідати на суперечливі запитання, які інші системи ШІ не дадуть. Він виконав частину цієї обіцянки. Наприклад, Grok і Grok 2, які вважаються вульгарними, із задоволенням підкоряться, викидаючи яскраву мову, яку ви, швидше за все, не почуєте від  ChatGPT .

Але моделі Grok до Grok 3  стосувалися  політичних тем і не переходили  певних меж . Фактично,  одне дослідження  показало, що Грок схилявся до політичних лівих у таких питаннях, як права трансгендерів, програми різноманітності та нерівність.

Маск звинуватив у такій поведінці навчальні дані Грока — загальнодоступні веб-сторінки — і  пообіцяв  «наблизити Грока до політично нейтрального». Якби не враховував гучних помилок, таких як  короткочасна цензура невтішних згадок про президента Дональда Трампа та Маска , здається, він міг би досягти цієї мети.