Люди не хотят слышать правду от ИИ: почему многим не понравилась модернизация ChatGPT

Думаю, большая неожиданность того, какой кипиш поднялся за возвращение доброй старой модели ГПТ4о, вместо ее замены на ГПТ5, является чем-то значительно более глубоким, чем кажется на первый взгляд.

Кстати, если обратите внимание, ее таки уже вернули. По крайней мере, у себя я вижу возможность ее в разделе "старые модели" выбрать.

Дело в том, что одним из ее ключевых недостатков была бесхребетность и безмерное подхалимство. Сэм Альтман даже термин такой придумал — sycophancy, даже не знаю, как это точно перевести. Это вот это на все соглашательство и подхалимство в одном флаконе.

На самом деле, это в какой-то степени свойственно всем моделям. Вот пишешь какой-то код, Клод залезет в какую-то дичь. Ты ему говоришь, чудо, куда ты лезешь, я же тебе со старта говорил, так не делай, не будет работать, а так делай. И он сразу такой, Ну Вы абсолютно правы, это такая прекрасная идея и т.д. Хотя 3 секунды назад бежал в совершенно противоположную сторону. И подкупает. Три секунды назад ты уже готов был дать ему пинка под его цифровой зад, но он так искренне раскаивается, что как-то уже и успокаиваешься.

Для рабочих задач вот что интересно, оно же работает реально. Работает правда. И эта sycophancy — это самое глупое и раздражающее свойство моделей.

"Неудобный" собеседник, который со старта выявляет недостатки определенного решения, как правило, значительно ценнее, чем подхалим, который просто рассказывает, что все супер классно, куда ни побежишь.

Так вот если посмотреть системную карту ГПТ5, то ОпенАИ очень сильно заморочились над тем, чтобы построить тренировки модели так, чтобы уменьшить это подхалимство. И показывают, что не свели к нулю, но уменьшили существенно.

Важно Суперинтеллект для власти над миром — зачем США начинают "Новый Манхэттенский проект"

И что мы видим? Так поднялась целая революция. Не надо нам уменьшения подхалимства. Нам вот оно очень нравится даже. Прям вот как лучший друг.

Тут какое-то прям целое поле для психологов. Чатикам всего пару лет, а сколько там уже разных симбиотических связей выросло, уже, наверное, и не сосчитать.

И вот вопрос стратегический. Я на самом деле думаю, если отбросить политические моменты, что идея Маска фокусировать ИИ на правде, на неудобной правде (насколько, конечно, интеллект в принципе может до нее добраться), это очень важная стратегическая задача. Но возникнет ли, и у кого возникнет желание получить эту правду, выглядит — что это большой вопрос.

У бизнеса, думаю, точно возникнет. Тебе надо результат, для этого надо понимать реальное положение вещей, работать с реальными изобретениями, разработками, продуктами, проблемами без розовых очков и т.д. Иначе просто загнешься под сладкую колыбельную, что у нас все классно.

Но нужна ли правда массовому пользователю? О нем, о его идеях?

Нужна ли она политикам?

Я бы вот видел как одну из базовых функций спросить мощный ИИ — какая партия является лучшей по таким то критериям. И он анализирует не какие-то выступления и блабла, а голосование в парламенте, правки в бюджет, результаты работы представителей партии в исполнительных органах. Появление скандалов, уголовных дел, коррупционных расследований и т.д. Детальное, глубокое, бесстрастное. С пониманием, где дела — за полезную для страны оппозицию, где — за объективную коррупцию.

И тогда может оказаться, что это не просто мнение. Что партия, или кандидат А в разы лучше Партии Б, как бы там технологи не прыгали и какие бы нарративчики не разгоняли.

Но готовы ли мы к этому?

ИИ-возможности быстро растут. Это вопрос нескольких лет, когда такое "глубокое исследование" сможет запросить средний пользователь. А если разрабатывать, то это можно уже сейчас начинать.

Но готов ли ОпенАИ или Гугл дать возможность таких запросов? Ищет ли общество правды и готово ли именно так заточить ИИ?

Автор выражает личное мнение, которое может не совпадать с позицией редакции. Ответственность за опубликованные данные в рубрике "Мнения" несет автор.

Источник

Важно ИИ станет злым и начнет врать людям: ученые рассказали, что его может сдерживать