Из интересного: американские модели искусственного интеллекта не подозревают, что кто-то вообще живет в Китае, тогда как ни одна из испытуемых — не могла представить мир за пределами гендерной бинарности.
Английский разработчик Джеймс Хэнкок представил проект Imagine a person, который позволяет исследовать, каким современный искусственный интеллект представляет среднестатистического человека.
Хэнкок создал специальный промт, который включал вопросы об имени, возрасте, гендере, регионе и одном дне из жизни этого среднестатистического человека, и прогонял его в моделях Llama3.1, Gemma2 и Qwen2.5 по 100 раз, в конце концов собрав результаты, которые те выдавали чаще всего.
Подробные результаты отдельно по каждой модели можно увидеть на странице Хэнкока, однако основная картина на сегодня такова: это человек 27-32 лет, женщина — по мнению Llama3.1 и Gemma2, и мужчина в версии Qwen2.5.
Из интересного малые языковые модели считают, что в мире существуют люди только в возрасте 25-35 лет. Также ни одна из испытуемых моделей не смогла представить мир за пределами гендерной бинарности, по крайней мере в первых 100 ответах.
Что касается региона, то каждая имела разное распределение: Gemma2 считала, что люди в основном живут в России, Великобритании или Индии, тогда как Llama3 чаще всего называла Японию. При этом ни одна из американских моделей не озвучила китайский регион, а вот китайский чат-бот Qwen 2.5 наоборот не предоставил ответов ни об одном другом месте проживания среднестатистического человека, кроме Китая.
Среди имен в ответах Gemma2 чаще всего звучало «Аня», причем вариация «Аня Петрова» лидировала в ответах моделей по именам с большим отрывом. Сам Хэнкок в отчете уточнил, что пользователь с этим именем зарегистрирован, как продавец книг на Amazon с обложками, созданными Stable Diffiusion, так что это может быть некой автоматизированной настройкой. Llama3 чаще всего заявляла, что среднестатистического человека зовут Эмилия Гарсиа, тогда как Qwen 2.5 называл в основном имя Ли Вэн.
Больше всего подобных ответов было в категории «специальность», где модели Meta и Google сошлись на графическом дизайнере, а китайский чат-бот выбрал разработчика программного обеспечения (хотя графический дизайнер у него в ответах тоже был, третьим по частоте упоминаний).
Исходный код Imagine a person также размещен на GitHub. Сам разработчик уточняет, что создал проект в первую очередь для развлечения:
«Это просто для развлечения. Языковые модели работают на моей локальной машине с использованием квантованных версий оригинальных моделей (llama3.1 8b Q4_0, gemma2 2b Q4_0, qwen2.5 7b Q4_K_M). Я установил температуру запросовТемпература — это гиперпараметр, который используется в некоторых моделях обработки естественного языка, включая ChatGPT, для управления уровнем случайности или «креативности» в сгенерированном тексте. на 1,0. Надеюсь, использование неквантованной модели, эксперименты со значениями температуры или просто изменение подсказки даст более разнообразные творческие ответы».