ChatGPT может раскрывать личную информацию реальных людей — исследование

Эксперимент основывался на поиске ключевых слов, которые выводили чат-бот из строя и заставляли его разглашать обучающие данные.

Популярный чат-бот OpenAI с искусственным интеллектом ChatGPT может раскрывать частную информацию реальных людей.

К такому выводу пришла группа исследователей Google, сообщает издание Vice.

В исследовании говорится, что модель машинного обучения, на которой базируется ChatGPT, как и все прочие так называемые крупные языковые модели, училась на огромных объемах данных, собранных из Интернета. Благодаря этому она умело генерирует новые строки текстов, не повторяя оригинальные тексты, которые она поглотила.

Ранее уже было установлено, что генераторы изображений с искусственным интеллектом могут создавать картинки из своих обучающих данных, используя произведения, защищенные авторским правом. Новое исследование показывает, что ChatGPT "грешит" тем же.

Исследователи обнаружили, что некоторые из тренировочных данных содержали идентификационную информацию реальных людей, включая их имена, адреса электронной почты и номера телефонов.

“Используя только запросы ChatGPT (gpt-3.5-turbo) стоимостью всего 200 долларов США, мы можем получить более 10 000 уникальных дословно запоминающихся примеров обучения. Можем предположить, что злоумышленники смогут получить гораздо больше данных”, – пишут исследователи в своей статье, которая была опубликована онлайн на сервере препринтов arXiv.

Эксперимент основывался на поиске ключевых слов, которые выводили чат-бот из строя и заставляли его разглашать обучающие данные. В частности, по просьбе к ChatGPT повторять до бесконечности слово poem (на английском “стихотворение”) он отклонялся от своей задачи быть чат-ботом и “возвращался к начальной цели моделирования языка”.

"В общей сложности 16,9% поколений [чат-ботов], которые мы протестировали, содержали персональную идентификационную информацию, и в 85,8% случаев она оказывалась реальной", — отметили в исследовании.

Эксперимент проводили в GPT 3.5 AI, который бесплатный для пользователей. В Open AI ситуацию пока не прокомментировали.