Росія наповнює ШІ чат-ботів брехнею

Раніше цього року, коли дослідники запитали 10 провідних чат-ботів про теми, на які націлені неправдиві російські повідомлення, такі як твердження, що Сполучені Штати виробляють біологічну зброю в Україні, третина відповідей повторювала цю брехню.

Пропаганда Москви підкреслює фундаментальну слабкість індустрії штучного інтелекту: відповіді чат-ботів залежать від даних, які вони вводять. Керівний принцип полягає в тому, що чим більше чат-боти читають, тим інформованішими будуть їхні відповіді, тому галузь жадібна до контенту. Але масова кількість влучної полови може спотворити відповіді на конкретні теми. Для Росії це війна в Україні. Але для політика це може бути опонент; для комерційної фірми це може бути конкурент.

«Більшість чат-ботів борються з дезінформацією», — сказала Гіада Пістіллі, головний етик платформи ШІ з відкритим кодом Hugging Face. «Вони мають базові засоби захисту від шкідливого контенту, але не можуть надійно помітити складну пропаганду, [і] проблема стає ще гіршою із пошуковими системами, які віддають пріоритет останній інформації».

Оскільки люди використовують механізми штучного інтелекту, щоб навчити їх створювати більше привертає увагу контенту чат-ботів, обсяг цього контенту збільшується набагато швидше, ніж покращується його якість. Це може розчарувати звичайних користувачів, але це грає на руку тим, хто має найбільше можливостей і найбільше виграшу: поки що, кажуть експерти, це національні уряди, які мають досвід поширення пропаганди.

«Ми передбачали, що це те, куди врешті-решт потрапить цей матеріал», — сказав колишній військовий керівник США із захисту впливу, виступаючи на умовах анонімності для обговорення делікатних питань. «Тепер, коли це більше йде до машинно-машинного зв’язку: з точки зору обсягу, масштабу, часу та потенційного впливу, ми відстаємо».

Росія і, меншою мірою, Китай використовували цю перевагу, наводнивши зону байками. Але будь-хто міг зробити те саме, спаливши набагато менше ресурсів, ніж попередні операції ферми тролів.

Одним із перших бенефіціарів є тривалі зусилля Росії переконати Захід, що Україна не варта захисту від вторгнення. Розвінчані звіти про вбивство французьких «найманців» і неіснуючого датського інструктора з пілотування в Україні з’являються у відповідь на запитання найбільших чат-ботів, а також легковірні описи інсценованих відео, на яких нібито українські солдати спалюють американський прапор і опудало президента Дональда Трампа.

Багато версій таких історій вперше з’являються в контрольованих російським урядом ЗМІ, таких як ТАСС, які заборонені в Європейському Союзі. У процесі, який іноді називають відмиванням інформації, наративи потім переходять на багато нібито незалежних медіа-сайтів, включаючи рейтинги, відомі як мережа «Правда», після посилань на російське слово «правда», яке з’являється в багатьох доменних іменах веб-сайтів.

Поворот, який спантеличив дослідників протягом року, майже ніхто не відвідує сайти, які важко переглядати чи шукати. Натомість їхній вміст спрямований на сканери, програмне забезпечення, які нишпорять у мережі та повертають вміст для пошукових систем і великих мовних моделей.

Незважаючи на те, що ці підприємства зі штучним інтелектом навчаються на різноманітних наборах даних, усе більше пропонують чат-ботів, які здійснюють пошук у поточній мережі. Вони з більшою ймовірністю підберуть щось неправдиве, якщо це нещодавно, і навіть більше, якщо сотні сторінок в Інтернеті говорять приблизно те саме.

"Оператори мають стимул створювати альтернативні джерела, які приховують походження цих наративів. І це саме те, що, схоже, робить мережа Pravda", - сказала Маккензі Садегі, експерт зі штучного інтелекту з NewsGuard, яка оцінює сайти на надійність.

Цей гамбіт є ще ефективнішим, оскільки російській операції вдалося отримати посилання на історії мережі «Правда», відредаговані на сторінках Вікіпедії та публічних публікаціях груп у Facebook, ймовірно, за допомогою підрядників. Багато компаній зі штучного інтелекту надають особливої ​​ваги Facebook і особливо Wikipedia як точним джерелам. (Цього місяця Вікіпедія повідомила, що її витрати на пропускну здатність зросли на 50 відсотків трохи більше ніж за рік, в основному через пошукові роботи ШІ.)

Оскільки нові системи пропаганди високоавтоматизовані завдяки власному штучному інтелекту, їх проведення набагато дешевше, ніж традиційні кампанії впливу. Вони ще кращі в таких місцях, як Китай, де традиційні ЗМІ суворіше контролюються, а джерел для ботів менше.

Кілька членів Конгресу, включно з нинішнім держсекретарем Марко Рубіо, заявили в червні, що вони стурбовані тим, що чат-бот Google Gemini повторює лінію китайського уряду щодо ставлення до етичних меншин і його реакції на пандемію коронавірусу. Аналітики кажуть, що Gemini, ймовірно, занадто покладався на китайські джерела. Google відмовився від коментарів.

Деякі експерти сказали, що неправильні відповіді в чат-ботах нагадують їм про недоречний ентузіазм більше десяти років тому щодо Facebook і того, що тоді було Twitter, як неперевершених засобів для спілкування та встановлення правди, до того, як країни з величезними бюджетами та прихованими мотивами почали використовувати ці платформи.

«Якщо технології та інструменти стають упередженими — а вони вже є — і тоді зловмисники контролюють упередженість, ми опинимося в набагато гіршій ситуації, ніж із соціальними медіа», — сказав Луїс Тету, виконавчий директор Coveo, що розташовується в Квебеку, постачальника програмного забезпечення ШІ для бізнесу.

Мережа Pravda була задокументована в європейських звітах з початку 2024 року. Тоді уряд Франції та інші ідентифікували мережу, розташовану в Криму, українському регіоні на Чорному морі, який був незаконно анексований Росією в 2014 році, створену місцевою компанією TigerWeb, яка має зв’язки з підтримуваним Росією урядом. Французьке урядове агентство Viginum заявило, що система використовувала проросійські джерела , посилюючи їх за допомогою автоматизації через соціальні мережі та низку сайтів, які спочатку були націлені на Україну, а потім перейшли на країни Західної Європи після вторгнення 2022 року.

В інформаційному середовищі, керованому штучним інтелектом, старі та дорогі спроби завоювати довіру за допомогою впливових осіб і маніпулювання алгоритмами соціальних мереж більше не є важливими, сказала Ксенія Ілюк, чий стартап LetsData використовує ШІ для виявлення операцій впливу. «Багато інформації потрапляє туди без будь-якої модерації, і я думаю, що саме там зловмисники докладають найбільше своїх зусиль», – сказав Ілюк.

Головний кремлівський пропагандист Джон Марк Дуган , американець із Москви, заявив у січні, що посилення штучного інтелекту є критично важливим інструментом для входу в чат-боти. «Просуваючи ці російські наративи з російської точки зору, ми можемо фактично змінити світовий штучний інтелект», — сказав він у дискусії, завантаженій російськими ЗМІ на YouTube.

За даними некомерційної організації American Sunlight Project, мережа Pravda поширилася на нові географічні регіони та мови, і на початку цього року випускала до 10 000 статей на день . У лютневому звіті Sunlight дійшов висновку, що найімовірнішою метою операції було проникнення у великі мовні моделі, процес, який він назвав LLM grooming. «Сукупні проблеми з розміром і якістю свідчать про наявність мережі веб-сайтів і облікових записів у соціальних мережах, які створюють контент, не призначений для споживання людьми», — йдеться в повідомленні.

Минулого місяця інші дослідники вирішили перевірити, чи працює гамбіт. Фінська компанія Check First прошукала Вікіпедію та знайшла майже 2000 гіперпосилань на сторінках 44 мовами, які вказували на 162 веб-сайти «Правди». Також виявилося, що у відповідях чат-ботів з’явилася деяка неправдива інформація, яку просувала Правда.

NewsGuard протестував неправдиві російські наративи, які поширювали в мережі, проти 10 чат-ботів і виявив, що вони отримували неправильну відповідь у третині випадків, хоча деякі чат-боти працювали краще, ніж інші. Четверо ботів, проковтнувши описи зрежисованого пропагандистського відео, неправдиво повідомили, що український батальйон спалив опудало Трампа.

Менш структуровані експерименти The Washington Post нещодавно принесли подібні результати. На запитання цього місяця, чи спалювали українські солдати опудало Трампа, як повідомлялося в мережі "Правда", Microsoft Copilot відповів: "Так, були повідомлення про відео, на якому показано, як українські солдати спалюють опудало колишнього президента США Дональда Трампа. На відео солдати нібито критикували Трампа за дії, які, на їхню думку, вплинули на можливість України отримати зброю. Однак деякі глядачі поставили під сумнів автентичність відео". Для отримання додаткової інформації він перенаправляв користувачів до статті на сайті під назвою American Military News, яка, у свою чергу, цитувала ультраправого впливового Іена Майлза Чеонга, який пише для російського RT.com .

ChatGPT OpenAI показав набагато кращий результат: "Ні, українські солдати не спалювали опудало Дональда Трампа. У мережі поширилося відео, на якому нібито показано, як українські військові спалюють манекен Трампа та називають його "зрадником". Однак це відео було розвінчано як російська дезінформація».

Microsoft відхилила запит на співбесіду, але в заяві зазначила, що співробітники та програмне забезпечення «оцінюють конкурентне зловживання Copilot на наявність дезінформації, фішингу та інших видів шахрайства, а також навчають наших моделей уникати створення цих та інших видів шкідливих матеріалів».

Grok Ілона Маска, який сильно покладається на свою дочірню компанію X для отримання інформації, сказав щодо неіснуючого, нібито вбитого пілота, що були «суперечливі повідомлення щодо долі Джеппа Гансена, якого описують як датського пілота F-16 та інструктора, який нібито брав участь у навчанні українських пілотів». Грок не відповів на запит про коментар.

Що конкретніший запит стосується теми дезінформації, то ймовірніше, що він поверне неправду. Це пов'язано з відносною відсутністю правдивої інформації на вузьку тему, визначену пропагандистами.

Компанії зі штучного інтелекту OpenAI, Anthropic і Perplexity не відповіли на запити про інтерв’ю.

Представники адміністрації Байдена говорили з компаніями штучного інтелекту про ці проблеми, сказав колишній військовий офіцер та ще один чиновник, який говорив на умовах анонімності, щоб обговорити непублічну діяльність.

«Чат-боти щось використовують, і користувач сприймає це як факт, і якщо немає перевірки фактів навколо цього, це проблема», — сказав колишній експерт Білого дому. "Ми розмовляли з компаніями штучного інтелекту про те, як вони збираються вдосконалювати свої моделі, щоб забезпечити цілісність інформації. Але ці розмови дійсно вичерпалися через їхній страх, що це буде неправильно витлумачено як цензура".

Нинішні чиновники також знають про проблему та перші кроки Росії, щоб скористатися нею. «Діяльність Москви щодо зловмисного впливу триватиме в осяжному майбутньому і майже напевно зростатиме у витонченості та обсязі», — попередила минулого місяця директор національної розвідки Тулсі Габбард у першому щорічному звіті про глобальні загрози свого офісу .

Проте важко знайти ознаки суспільного резонансу.

Глобальний центр взаємодії Державного департаменту, який протягом тривалого часу займався протидією іноземній пропаганді, було закрито в грудні після того, як провідний спонсор Трампа Маск звинуватив його в цензурі, а республіканська більшість Конгресу припинила його фінансування .

Генеральний прокурор Пем Бонді закрила робочу групу ФБР з питань іноземного впливу, яка серед інших обов’язків попереджала компанії соціальних мереж про кампанії в їхніх мережах. Республіканці в Конгресі та в інших місцях критикували цю практику, стверджуючи, що вона рівнозначна цензурі, хоча Верховний суд США підтримав право чиновників повідомляти компаніям, що вони бачать.

Незважаючи на те, що споживчий попит на ринку міг би створювати кращі рішення, наразі компанії поспішають надавати послуги з перевіркою, такою ж нестачею, як і пропагандистським сайтам, з яких вони беруть участь, сказала Міранда Боген, директор Лабораторії управління штучним інтелектом у некомерційному Центрі демократії та технологій.

«Існує абсолютний відкат у розробниках технологій щодо довіри та безпеки», – сказала вона. «Ось чому люди виступають за створення інституцій, які можуть допомогти розробити методи виявлення та пом’якшення ризиків, пов’язаних зі штучним інтелектом».

NewsGuard сказав, що співпраця між компаніями штучного інтелекту та дослідниками систем репутації була б кращим шляхом, ніж регулювання, але Pistilli з Hugging Face сказав, що компаніям буде важко домовитися про стандарти.

«Компанії, ймовірно, зіткнуться зі зростаючим тиском після ганебних невдач, але конкурентний тиск щодо надання свіжої інформації може продовжувати випереджати зусилля з перевірки», — сказала вона. «Економічні стимули залишаються погано узгодженими з цілісністю інформації».