Чат-бот Claude від Anthropic отримав можливість закінчити розмову з користувачем

Компанія Anthropic додала в чат-бот Claude Opus 4 і 4.1 можливість примусово закінчити розмову з користувачем. Це станеться в разі постійних образ і агресії на адресу ШІ.

«Це експериментальна функція, призначена для використання Claude тільки в крайніх випадках, коли розмови постійно мають образливий і агресивний характер», — заявили в компанії.

Згідно з релізом, функцію розробили в межах зусиль Anthropic із дослідження «благополуччя ШІ». Компанія провела оцінку Claude Opus 4 і 4.1, виявивши «стійке неприйняття шкоди».

Під останньою мається на увазі наступне: образи, запит на створення контенту сексуального характеру з неповнолітніми, спроби отримати інформацію, що потенційно сприяє тероризму та актам насильства.

При послідовному повторенні подібних промптів Claude продемонстрував схильність до припинення таких розмов. Також він нібито показав «явне небажання» займатися подібними завданнями і стрес під час їх виконання.

Водночас чат-бот не використовуватиме цю функцію, якщо користувач наражається на безпосередній ризик заподіяння шкоди собі або іншим.

У разі завершення розмови користувач не зможе надсилати нові повідомлення в рамках цієї бесіди. Щоб відновити спілкування з Claude достатньо надіслати інший запит.

Щоб уникнути втрати даних під час тривалого спілкування з чат-ботом, користувачам додали можливість редагувати повідомлення, тим самим створюючи нові варіанти завершення бесіди.

Джейлбрейкер під псевдонімом Pliny the Prompter протестував нововведення. За його словами, чат-бот завжди робить попередження про намір закрити бесіду і докладає максимум зусиль, щоб перенаправити її в інше русло.

У спільноті нову функцію оцінили двояко. Дехто вказує на те, що це правильне рішення для формування рамок у спілкуванні ШІ та користувача, а також ефективний захід із контролю за шкідливим контентом.

Інші ж вказали на те, що нововведення, навпаки, підстьобне юзерів до такої поведінки і є «ефективною лазівкою для втечі з в’язниці» для чат-бота.