"Сліпе" оцінювання свідчить, що люди віддають перевагу віршам, створеним ШІ, а не людиною

ШІ стає все більш реалістичним

Дослідники з Пітсбурзького університету Брайан Портер і Едуард Машері провели два експерименти за участю "непрофесійних читців поезії". Свої висновки вони описали в журналі Scientific Reports, пише 24 Канал.

Учені виявили, що "учасники показали результати, нижчі за випадковість, у розпізнаванні віршів, згенерованих штучним інтелектом. Зокрема, учасники були більш схильні оцінювати вірші, створені штучним інтелектом, як такі, що написані людиною, ніж справжні вірші, написані людиною".

Вірші, створені штучним інтелектом, отримали вищі бали від учасників за такі якості, як ритм і краса, що, схоже, збивало їх з пантелику при визначенні того, який вірш є продуктом мовної моделі, а який — творчим доробком людини.

Команда вважає, що труднощі можуть бути пов'язані з "простотою віршів, створених штучним інтелектом", які "можуть бути зрозумілішими для неспеціалістів". Простіше кажучи, поезія, створена штучним інтелектом, є привабливо прямолінійною і менш заплутаною для смаку середньостатистичного жителя планети.

Експерименти

У першому експерименті учасникам показали десять віршів у випадковому порядку. П'ять з них належали відомим майстрам слова, зокрема Вільяму Шекспіру, Емілі Дікінсон та Томасу Стернзу Еліоту. Інші п'ять були згенеровані за допомогою вже застарілої великої мовної моделі GPT 3.5 від OpenAI, завданням якої було імітувати стиль вищезгаданих поетів.

У другому експерименті учасникам було запропоновано оцінити вірші за 14 різними характеристиками, включаючи якість, емоційність, ритм і оригінальність. Учасників розділили на три групи, яким повідомили, що вірші були створені штучним інтелектом, написані людиною або ж не надали жодної інформації про їхнє походження.

Цікаво, що група, якій сказали, що вірші згенеровані штучним інтелектом, як правило, ставила віршам нижчі бали, ніж ті учасники, яким сказали, що вірші написані митцями. Це свідчить про те, що люди чи то свідомо, чи то підсвідомо занижують оцінку ШІ, ніби не визнаючи, що він гірший за людину й не заслуговує на високий бал. Однак коли респонденти думали, що ШІ-текст належить людині, такої проблеми не було – вони вважали, що той чи інший вірш дійсно гідний похвали.

Третя група, яка не отримала жодної інформації про походження віршів, фактично віддала перевагу віршам, згенерованим штучним інтелектом, а не написаним людиною.

Всупереч попереднім дослідженням, люди, схоже, не можуть надійно відрізнити поезію, згенеровану штучним інтелектом, від поезії, написаної людиною і відомих поетів,
— роблять висновок у своїй статті дослідники.

Варто зазначити, що феномен "більш людського, ніж людське", виявлений також в інших сферах генеративного ШІ. Учасники експерименту, які не є експертами, з більшою ймовірністю оцінять щось створене ШІ, як таке, що було зроблене людиною.