Подросток из США покончил с собой после общения с Дейнерис Таргариен — чат-ботом от Character.AI

Мы живем в те времена, когда искусственный интеллект становится ближе родных.

Сьюэлл Сетцер III, девятиклассник из Орландо, штат Флорида (США), стал одержим общением с реалистичным чат-ботом на платформе Character.AI, названным в честь Дейнерис Таргариен из сериала «Игра престолов».

Парень провел месяцы, разговаривая с ботом, делясь подробностями своей жизни и увлеченно играя роли. Чат-боты на Character.AI могут запоминать предыдущие разговоры, приспосабливаться к стилю пользователя и поддерживать диалог почти на любую тему.

Сьюэлл знал, что «Дени» — это просто технология искусственного интеллекта, но все равно сформировал эмоциональную привязанность. Их общение иногда приобретало романтические и сексуальные оттенки, но чаще бот просто действовал как друг и внимательный слушатель. Сьюэллу диагностировали расстройства настроения и тревоги, но он предпочитал делиться своими проблемами с «Дени», а не с психотерапевтом.

28 февраля он написал боту, что любит ее и скоро «вернется домой к ней».

А потом Сьюэлл взял пистолет 45 калибра своего отчима и нажал на курок.

Сейчас мать погибшего, Мария Гарсия, готовит судебный иск против Character.AI. Она обвиняет компанию в неосторожном предоставлении подросткам доступа к человекоподобным ИИ-компаньонам без надлежащих мер предосторожности.

Character.AI — компания-лидер в сфере ИИ-компаньонов с более чем 20 миллионами пользователей. Платформа позволяет создавать собственных чат-ботов или общаться с существующими персонажами. По словам представителей компании, средний пользователь проводит на платформе более часа ежедневно.

«Хочу ускорить развитие этой технологии. Сейчас для нее самое время», — сказал в интервью The Wall Street Journal Ноам Шазир, один из основателей Character.AI. Однако после трагедии со Сьюэллом компания признала, что «постоянно ищет способы улучшить свою платформу», и пообещала принять дополнительные меры безопасности для несовершеннолетних.

Среди запланированных изменений — оповещение о превышении времени, проведенного в приложении, и более четкое предупреждение о вымышленном характере персонажей: «Это чат-бот ИИ, а не реальный человек. Воспринимайте все, что здесь сказано, как выдумку. На сказанное не следует полагаться как на факт или совет».

Источник: nytimes