Обнаженные дети, YouTube и искусственный интеллект: как "ошибка" сыновей разрушила цифровую жизнь женщины — NYT

Google придерживается политики нулевой толерантности к контенту, содержащему насилие над детьми. Процесс сканирования иногда может пойти не так, как следует, и невинных людей могут назвать обидчиками.

Когда Дженнифер Уоткинс получила сообщение от YouTube о том, что ее канал закрывают, она поначалу не забеспокоилась. В конце концов она не пользовалась YouTube.

Однако ее 7-летние сыновья-близнецы пользовались планшетом под ее аккаунтом Google для просмотра детского контента и снимали на YouTube видео, где они танцевали глупые танцы. Мало какое из этих видео набрало более пяти просмотров. Но видео, из-за которого Воткинс попала в передрягу, снятое одним из сыновей, носило другой характер.

Об этом говорится в материале The New York Times.

«Очевидно, это было видео с изображением ягодиц, — сказала Уоткинс, никогда видео не видела. — Одноклассник подговорил его сняться в обнаженном виде».

Искусственный интеллект и его возможности

YouTube, принадлежащий Google, имеет системы на основе искусственного интеллекта, которые ежеминутно просматривают сотни часов загружаемых на сервис видео. Процесс сканирования иногда может пойти не так, как надо, и невинные люди могут запятнать как насильников над детьми.

New York Times задокументировали другие эпизоды, когда цифровая жизнь родителей была перевернута обнаженными фотографиями и видео их детей, которые были отмечены системами искусственного интеллекта Google и которые люди-рецензенты определили как незаконные. В результате, некоторые родители попали под следствие полиции.

"Обнаженное видео" по делу Воткинс, загруженное в сентябре, в считанные минуты было отмечено как возможная сексуальная эксплуатация ребенка, что является нарушением условий предоставления услуг Google с очень серьезными последствиями.

Заблокированный аккаунт

Воткинс, медицинская работница, проживающая в Новом Южном Уэльсе, Австралия, вскоре обнаружила, что ее заблокировали не только на YouTube, но и на всех ее аккаунтах в Google. По ее словам, она потеряла доступ к своим фотографиям, документам и электронной почте, то есть не могла получать сообщения о своем рабочем графике, просматривать банковские выписки или "заказать густой коктейль" через приложение McDonald's, в которое она заходила с помощью своей аккаунта Google.

В конце концов, ее учетная запись была удалена, о чем она была сообщена на странице входа в Google, но она могла обжаловать это решение. Она нажала кнопку Начать апелляцию и написала в текстовом поле, что ее 7-летние сыновья считают, что ягодицы — это смешно, и они ответственны за загрузку видео.

"Это наносит мне финансовый ущерб", — добавила она.

Глобальный мониторинг

Защитники детей и законодатели по всему миру подталкивают технологические компании к тому, чтобы остановить распространение обидных изображений в Интернете путем мониторинга таких материалов на своих платформах.

Многие провайдеры связи теперь сканируют фотографии и видео, которые хранят и распространяют их пользователи, чтобы найти известные изображения насилия, о которых было сообщено властям.

Google также хотел иметь возможность отмечать никогда ранее не виденный контент. Несколько лет назад они разработали алгоритм, обученный на известных изображениях, который пытается идентифицировать новые эксплуатационные материалы; Google сделал его доступным для других компаний, включая Meta и TikTok.

После того, как сотрудник подтвердил, что видео, размещенное сыном Воткинсом, является проблемным, Google сообщил об этом Национальный центр помощи пропавшим и эксплуатируемым детям, некоммерческую организацию, которая действует как федеральный координационный центр для обозначенного контента. Центр может добавить видео в свою базу данных известных изображений и решить, сообщать ли о нем местным правоохранительным органам.

Согласно статистике национального центра, Google является одним из самых больших источников сообщений о "явной детской порнографии ". В прошлом году Google предоставил более двух миллионов сообщений, что гораздо больше, чем большинство цифровых коммуникационных компаний, но меньше, чем количество сообщений, поданных компанией Meta.

Сомнительные суждения?

Эксперты говорят, что сложно судить о серьезности проблемы насилия над детьми, опираясь только на цифры. В одном из исследований небольшой выборки пользователей, обозначенных за распространение неприемлемых изображений детей, аналитики Facebook заявили, что более 75 процентов из них не имели злого умысла. Среди пользователей были подростки, которые находятся в романтических отношениях и делились своими интимными изображениями, а также люди, которые поделились "мемом о том, как животное кусает гениталии ребенка, потому что они думают, что это смешно".

Apple не подверглась давлению с требованием сканировать iCloud на наличие материалов, которые могут быть использованы для эксплуатации. Пресссекретарь указал на письмо, которое компания направила в этом году в правозащитную группу, выразив обеспокоенность относительно "безопасности и конфиденциальности наших пользователей" и сообщив, что "невинные стороны попадают в мрачные сети".

Прошлой осенью руководитель отдела доверия и безопасности Google Сьюзан Джаспер написала в блоге, что компания планирует обновить свой процесс обжалования, чтобы "улучшить пользовательский опыт" для людей, которые "считают, что мы приняли неправильные решения".

Основное изменение состоит в том, что теперь компания предоставляет больше информации о причинах приостановки действия аккаунта, а не общее сообщение о "серьезном нарушении" политики компании. Воткинсу, например, сообщили, что причиной ее блокировки стала эксплуатация детей.

Восстановление аккаунта

Несмотря на это, неоднократные апелляции Уоткинса были отклонены. Она имела платную аккаунт Google, которая позволяла ей и ее мужу обмениваться сообщениями с агентами службы поддержки клиентов. Но в электронной переписке, с которой ознакомилась The Times, агенты заявили, что видео, даже если это бессознательный поступок ребенка, все равно нарушает политику компании.

Драконовское наказание за одно бессмысленное видео кажется несправедливым, сказала Уоткинс. Она удивляется, почему Google не мог предупредить ее перед тем, как отрезать доступ ко всем ее аккаунтам и более 10 лет цифровых воспоминаний.

После более чем месяца безуспешных попыток убедить компанию изменить свое мнение, Уоткинс обратилась к The Times. Через день после того, как репортер поинтересовался ее делом, ее аккаунт Google был восстановлен.

«Мы не хотим, чтобы наши платформы использовались для того, чтобы подвергать детей опасности или эксплуатировать их, и существует широкое требование, чтобы интернет-платформы принимали самые решительные меры для выявления и предотвращения сексуального насилия над детьми, — говорится в заявлении компании. — В этом случае мы понимаем, что контент, нарушающий права ребенка, не был загружен злонамеренно”.

Компания не ответила, как еще можно повлиять на отказ в удовлетворении апелляции, кроме как отправить электронное письмо репортеру The Times.

"Две стороны одной медали"

По словам Дэйва Вилнера, сотрудника Центра киберполитики Стэнфордского университета, работавшего над вопросами доверия и безопасности в нескольких крупных технологических компаниях, Google находится в сложном положении, пытаясь вынести решение по таким жалобам. Даже если фото или видео невиновны по своему происхождению, они могут быть распространены со злонамеренными намерениями.

"Педофилы будут делиться изображениями, которые родители сделали невинно, или собирать их в коллекции, потому что они просто хотят видеть голых детей", — сказал Вилнер.

Другой проблемой является огромный объем потенциально эксплуататорского контента, обозначаемого Google.

“Это просто очень, очень трудно решаемая проблема – регулировать оценочные суждения в таком масштабе, – сказал Вилнер. – Они принимают сотни тысяч или миллионы решений в год. Когда вы бросаете кости столько раз, у вас появляются змеиные глаза”.

Он сказал, что борьба Воткинса после потери доступа к Google была "хорошим аргументом в пользу того, чтобы распределить свою цифровую жизнь" и не полагаться на одну компанию для получения многих услуг.

Воткинс извлекла из этого опыта другой урок: родители не должны использовать свою учетную запись Google для интернет-активности своих детей, а должны создать специальную учетную запись — выбор, который Google поощряет.

Она еще не создала такой аккаунт для близнецов. Пока им запрещено пользоваться интернетом.