В поведении ИИ обнаружили неожиданные "человеческие" проблемы: что он может делать

Ученые обнаружили, что LLM могут быть уверенными в своих первоначальных ответах, но их можно заставить усомниться и изменить свое мнение, если предъявить противоположную точку зрения, пишет Tech Xplore.

Как объясняют в издании, для безопасного использования LLM, их ответы сопровождаются оценками уверенности. Поэтому исследователи решили проверить, как внешние советы влияют на уверенность ИИ моделей.

В рамках эксперимента ИИ сначала предлагался вопрос с бинарным выбором. После ответа он получал совет от другого ИИ, а также оценку точности. Вторая модель также должна была либо согласиться, либо возразить, либо быть нейтральной к ответу "коллеги". После этого первую LLM просили сделать окончательный выбор.

ИИ склонен сомневаться в себе: что обнаружили ученые

Исследование показало, что когда LLM получают противоположные советы, они часто теряют уверенность и меняют свое решение. Эта закономерность наблюдалась в нескольких различных моделях ИИ, таких как Gemma 3, GPT4o и o1-preview.

Ученые отметили, что LLM отклоняются от нормативного поведения несколькими существенными способами. Во-первых, они очень предвзято поддерживают выбор, который повышает их уверенность в своем ответе и заставляет их придерживаться его, даже при наличии доказательств обратного.

Важно Не рассказывайте ИИ лишнего: популярные чат-боты готовы донести на вас властям (исследование)

Во-вторых, исследователи показали, что хотя LLM и интегрируют новую информацию в свои убеждения, они делают это неоптимальным образом: советы, критикующие их мнение, влияют на них гораздо сильнее, чем слова поддержки.

Этот эксперимент демонстрирует, что модели ИИ имеют собственный набор предубеждений и могут подвергаться воздействию. Поэтому в долгих разговорах между человеком и искусственным интеллектом самая свежая информация может иметь непропорционально большое влияние на его реакцию.

Фокус также сообщал, что ученые из Helmholtz Munich создали передовую систему ИИ под названием Centaur, способную с точностью имитировать принятие решений человеком.