Никакого "интеллекта": почему ИИ на самом деле ничего не знает и что с этим делать

Об этом сообщает interestingengineering.com.

Издание поясняет, что на самом деле ИИ не думает и не знает – он просто угадывает, «вычисляет» правильный ответ. Примером приводят человека, который не очень хорошо знает историю: он видит дату «1776» – и пишет «Американская революция», потому что действует по знакомому шаблону (где-то слышал или читал что-то подобное). А может и выдумать ответ, если не знает правильного: например, заявить, что Колумб открыл Америку в 1800 году (хотя верный ответ – 1492).

Похоже действует и ИИ. Модели вроде ChatGPT не думают, не рассуждают и не понимают — они угадывают шаблоны, заученные на основе большого количества текстов, пытаясь предсказать следующее слово или идею на основе корреляций, которые они видели раньше. И этот факт подкрепляет как их силу, так и их ограничения.

Почему ИИ ошибается

Чтобы понять это, нам нужно разобраться, как ИИ учится. Языковые модели не обрабатывают информацию, как люди. Здесь не задействованы рассуждения, понимание или осознание. Они обучены на огромных наборах данных — книгах, веб-сайтах, разговорах — предсказывать, что будет дальше в последовательности слов. Они разбивают язык на небольшие единицы, называемые токенами, часто части слов, и пытаются предсказать один токен за другим с наибольшей вероятностью.

Вот как работает модель ИИ, осмысливая и обосновывая данные и информацию для выдачи результатов.

• Токены: язык разбит на небольшие единицы, такие как слова или слоги. Модели не имеют дело с полными идеями — только с вероятностями токенов.
• Вес: это миллиарды регулируемых значений в нейронной сети. Что-то наподобие циферблатов, которые сообщают модели, насколько один токен должен влиять на другой.
• Функция потерь: так модель проверяет, насколько она была неверна после догадки. Она подстраивается, чтобы уменьшить будущие ошибки.
• Распознавание образов: в конце концов, модель становится очень хорошей в распознавании языковых образов. Но она все еще не «знает» фактов – а только то, что обычно звучит правильно.

Если вы спросите, какая столица Франции, модель не знает, что это Париж. Она просто знает, что слово «Париж» часто следует за этим вопросом в ее обучающих данных.

Откуда берутся неверные ответы ИИ

Поскольку модели ИИ просто предполагают, они могут ошибаться — и делают это довольно часто.

Одна из самых заметных проблем — так называемые галлюцинации. Это происходит, когда модель уверенно генерирует ложную или выдуманную информацию, например, придумывает фальшивую научную статью или цитирует несуществующие источники. Это не ложь. Она просто не знает разницы между реальным и выдуманным.

В реальной жизни такие галлюцинации могут вызывать серьёзные последствия. В юридических, академических или медицинских условиях ИИ может фабриковать законы и источники или ставить диагнозы с полной уверенностью, не зная истории здоровья пациента. Это делает понятным, почему люди должны просматривать и проверять любой контент, созданный ИИ, особенно в областях, где точность имеет решающее значение.

Предвзятость — еще один серьезный недостаток. Модели ИИ можно заставить выдавать результаты, которые отдают предпочтение одной идее перед другой. Эти модели обучаются на огромных объемах интернет-данных, включая книги, веб-сайты и социальные сети, а с ними усваивают и заключённую в них предвзятость. Будь то культурные стереотипы, гендерные предположения или политические пристрастия, модель не знает, как фильтровать идеи. Она просто учится. Опять же, предвзятость не является преднамеренной, но она зависит от обучающих данных.

Затем возникает проблема дрейфа модели, которая происходит, когда реальный мир движется быстрее, чем последнее обновление обучения модели. Это происходит потому, что знания модели заморожены во времени и не способны учитывать новую динамику.

Почему ИИ так сложно исправить?

Искусственный интеллект работает с миллиардами параметров. Обучение его моделей заново с нуля требует больших затрат денег и вычислительной мощности.

1. Стоимость удержания: обновление данных модели будет стоить очень дорого. Ведь оно требует огромных вычислительных мощностей, специализированных аппаратных систем и много времени — от недель до месяцев — для выполнения этой задачи.
2. Непрозрачность «черного ящика»: часто даже исследователи, которые создают ИИ-модели, не имеют представления, почему модель дает тот или иной ответ.

Чтобы хоть частично решить эти проблемы, разработчики обращаются к методу Reinforcement Learning from Human Feedback (RLHF), где люди-рецензенты оценивают результаты, чтобы научить модель правильным образом. Но RLHF — это трудоемкий, дорогой и ограниченный метод. Человек не может контролировать каждый ответ, который может сгенерировать модель, — их просто слишком много. В результате RLHF может помочь направлять поведение в общих чертах, но он с трудом справляется с деталями или быстро меняющимися темами.

Как улучшают ИИ

Несмотря на трудности, исследователи и компании активно работают над тем, чтобы сделать ИИ более безопасным, надежным и соответствующим человеческим ценностям. Эти усилия охватывают все сферы: от алгоритмических инноваций до глобальных политических дебатов.

Например, OpenAI запустила Superalignment — инициативу, которая фокусируется на согласовании передовых систем ИИ с человеческими намерениями. Команда, стоящая за ней, работает над созданием ИИ, который может рассуждать о человеческих ценностях и безопасности, не требуя постоянного вмешательства и надзора со стороны человека.

Anthropic разрабатывает методику, в которой модель ИИ обучается придерживаться определенного набора руководящих принципов, а не полагаться только на обратную связь от человека. Эта методика, известная как конституционный ИИ, позволяет модели улучшить свое мыслительное поведение, становясь более прозрачной и масштабируемой с течением времени.

Лаборатории вроде Stanford CRFM и Oxford's Future of Humanity Institute изучают такие темы, как интерпретируемость, смягчение предвзятости и метрики оценки ИИ.

Также Фокус писал, что при нынешних темпах развития ИИ к 2030 году он может вообще вытеснить людей. Прогноз под названием "AI 2027" был основан на экстраполяции тенденций, военных играх, отзывах экспертов, а также опыте компании OpenAI.