Объявили охоту на троллей: ученые создали инструмент, находящий зашифрованные оскорбления

Токсичность в Интернете развивается по мере того, как люди находят способы обходить системы модерации, при этом чувствуя полную безнаказанность. Маскируя вредоносный контент с помощью таких приемов, как замена букв цифрами, объединение слов или добавление пробелов и символов при написании оскорблений, злонамеренные пользователи обходят традиционные фильтры, основанные на ключевых словах, и разносят негатив по всемирной паутине, с чем решили побороться ученые, пишет The Conversation.

У Фокус.Технологии появился свой Telegram-канал. Подписывайтесь, чтобы не пропускать самые свежие и увлекательные новости из мира науки!

Такое поведение и изобретательность злоумышленников представляют собой серьезную проблему для онлайн-платформ, особенно для уязвимых групп, которые в несоразмерной степени страдают от такой тактики, говорит Джонни Чан, преподаватель школы бизнеса, в Оклендском университете. В ответ на эти изощренные методы им и его командой был разработан новый инструмент, который улучшает существующие системы защиты от интернет-грубиянов. Этот инструмент не заменяет существующие фильтры, а предварительно обрабатывает текст, удаляя манипулятивное форматирование, что облегчает обнаружение вредоносного контента, говорится в исследовании, опубликованном в журнале MethodsX.

Его процесс включает упрощение текста путем удаления лишних символов, стандартизацию вариаций, таких как опечатки, и выявление шаблонов, маскирующих оскорбительные слова. Благодаря такому комплексному подходу скрытая токсичность становится более прозрачной для автоматизированных инструментов модерации, что повышает их эффективность, говорят авторы. Применение этого инструмента в различных онлайн-средах дает широкие социальные преимущества и защиту для миллионов людей. Платформы социальных сетей могут обеспечить более безопасное пространство, минимизируя воздействие скрытых оскорблений, что очень важно для защиты молодых и более уязвимых пользователей от онлайн-издевательств, говорит Чан.

Для бизнеса же эта система служит защитой от скрытых клеветнических кампаний, позволяя оперативно принимать меры по защите репутации бренда. Политики и организации, заботящиеся о поддержании здоровой общественной дискуссии, также могут использовать этот инструмент для поддержания уважительных диалогов, особенно в жарких или деликатных дебатах.

Эта инновация представляет собой значительное достижение в области модерации контента. Она показывает, как постепенные улучшения в выявлении тонких проявлений токсичности могут оказать глубокое влияние на повышение безопасности онлайн-взаимодействия людей и улучшение психологического состояния подростков и детей, сидящих в Интернете. По мере развития цифрового общения будущие разработки могут включать в себя более тонкий анализ контекста, учитывающий динамику разговора, культурные нюансы и намерения, тем самым рассматривая не только то, что сказано, но и то, как и почему это выражено.

Путь совершенствования систем онлайн-модерации продолжается и является очень важным, считают авторы. Будущие инструменты, вероятно, будут включать в себя расширенное понимание контекста, что позволит более эффективно распознавать тонкости человеческого общения. Интегрировав эти инструменты в существующие системы модерации, платформы могут рассчитывать на снижение уровня незамеченной токсичности, создавая более благоприятную онлайн-среду и сообщества.

Также Фокус писал о том, как благодаря ученым из Университета Нагои в Японии, стало известно о еще одном способе контроля негативных эмоций.