Оголосили полювання на тролів: учені створили інструмент, що знаходить зашифровані образи

Токсичність в Інтернеті розвивається в міру того, як люди знаходять способи обходити системи модерації, водночас відчуваючи повну безкарність. Маскуючи шкідливий контент за допомогою таких прийомів, як заміна букв цифрами, об'єднання слів або додавання пробілів і символів під час написання образ, зловмисні користувачі обходять традиційні фільтри, що ґрунтуються на ключових словах, і розносять негатив всесвітньою павутиною, з чим вирішили поборотися вчені, пише The Conversation.

У Фокус.Технології з'явився свій Telegram-канал. Підписуйтесь, щоб не пропускати найсвіжіші та найцікавіші новини зі світу науки!

Така поведінка і винахідливість зловмисників є серйозною проблемою для онлайн-платформ, особливо для вразливих груп, які непропорційною мірою страждають від такої тактики, каже Джонні Чан, викладач школи бізнесу, в Оклендському університеті. У відповідь на ці витончені методи він і його команда розробили новий інструмент, який покращує наявні системи захисту від інтернет-грубіянів. Цей інструмент не замінює наявні фільтри, а попередньо обробляє текст, видаляючи маніпулятивне форматування, що полегшує виявлення шкідливого контенту, йдеться в дослідженні, опублікованому в журналі MethodsX.

Його процес включає спрощення тексту шляхом видалення зайвих символів, стандартизацію варіацій, як-от друкарські помилки, і виявлення шаблонів, що маскують образливі слова. Завдяки такому комплексному підходу прихована токсичність стає більш прозорою для автоматизованих інструментів модерації, що підвищує їхню ефективність, кажуть автори. Застосування цього інструменту в різних онлайн-середовищах дає широкі соціальні переваги та захист для мільйонів людей. Платформи соціальних мереж можуть забезпечити більш безпечний простір, мінімізуючи вплив прихованих образ, що дуже важливо для захисту молодих і більш вразливих користувачів від онлайн-знущань, каже Чан.

Для бізнесу ж ця система слугує захистом від прихованих наклепницьких кампаній, даючи змогу оперативно вживати заходів щодо захисту репутації бренду. Політики та організації, що піклуються про підтримання здорової суспільної дискусії, також можуть використовувати цей інструмент для підтримання шанобливих діалогів, особливо в палких або делікатних дебатах.

Ця інновація являє собою значне досягнення в галузі модерації контенту. Вона показує, як поступові поліпшення у виявленні тонких проявів токсичності можуть глибоко вплинути на підвищення безпеки онлайн-взаємодії людей і поліпшення психологічного стану підлітків і дітей, які сидять в Інтернеті. У міру розвитку цифрового спілкування майбутні розробки можуть містити більш тонкий аналіз контексту, що враховує динаміку розмови, культурні нюанси і наміри, тим самим розглядаючи не тільки те, що сказано, а й те, як і чому це виражено.

Шлях вдосконалення систем онлайн-модерації триває і є дуже важливим, вважають автори. Майбутні інструменти, ймовірно, включатимуть у себе розширене розуміння контексту, що дасть змогу ефективніше розпізнавати тонкощі людського спілкування. Інтегрувавши ці інструменти в наявні системи модерації, платформи можуть розраховувати на зниження рівня непоміченої токсичності, створюючи більш сприятливе онлайн-середовище і спільноти.

Раніше Фокус писав про те, що вчені дізналися, як почуття гніву пошкоджує наше серце. Щодня ми відчуваємо цілий спектр емоцій, від радості до злості, не замислюючись про їхній вплив на наше здоров'я. Але вчені стверджують, що одна емоція здатна серйозно нашкодити нам.

Також Фокус писав про те, як завдяки вченим з Університету Нагої в Японії, стало відомо про ще один спосіб контролю негативних емоцій.