В пятницу, 15 марта, когда произошел теракт в мечетях Новой Зеландии, и все выходные Facebook, Twitter и YouTube пытались убрать со своих платформ видео расстрела людей. По данным NBC News, Facebook потребовалось около полутора часов, чтобы удалить исходное видео и заблокировать профиль Брентона Тарранта, с которого он вел трансляцию. Но за это время его успели скопировать тысячи раз и распространить как в Facebook, так и на других платформах. Позже в Facebook заявили, что только за первые 24 часа заблокировали полтора миллиона роликов с кадрами атаки. О «тысячах удаленных видео» сообщили в Twitter и YouTube.
Это случай вновь поднял вопрос о проблеме модерации в соцсетях контента, содержащего жестокость и насилие. Компании заявляют, что разрабатывают инструменты искусственного интеллекта и нанимают десятки тысяч работников для модерирования. Например, модераторы соцсетей могут поставить на видео специальную цифровую метку «хэш», которая помогает найти визуально похожие ролики или заблокировать их загрузку на платформу.
Как отмечает The Washington Post, такие алгоритмы можно легко обойти. Для этого достаточно немного изменить цвет изображения, скорость проигрывания, звук или же вставить кадры в другое видео. А в YouTube признали, что столкнулись именно с этой проблемой при поиске новых загрузок видео новозеландской атаки.
Это далеко не первый случай, когда в соцсети попадает подобное видео. В 2015 году убийца загрузил в Facebook видео, на котором он расстреливает двух журналистов в штате Вирджиния. После запуска в 2016 году видеосервиса Facebook Live в режиме реального времени транслировались десятки преступлений, в том числе и убийства. В 2017 году Стив Стивенс сначала записал видео совершенного им убийства, а затем устроил трансляцию, во время которой рассказал его подробности. В том же году в Таиланде мужчина транслировал в Facebook, как убивает собственную дочь, после чего в прямом эфире покончил с собой.
В марте 2017 года в Facebook пообещали улучшить модерацию трансляций в прямом эфире и бороться с подобными роликами. В июне того же года YouTube, Facebook, Twitter и Microsoft создали совместную группу по борьбе с терроризмом и экстремистскими материалами на своих платформах. Но, как показывают события в Новой Зеландии, они по-прежнему не могут остановить распространение в режиме реального времени вирусного контента, содержащего насилие.
Эксперты по искусственному интеллекту говорят, что на сегодняшний день нет технологии, позволяющей безошибочно обнаруживать насилие на потоковых платформах. Научить машины распознавать размахивающего оружием человека — сложно, поскольку существует много разных видов оружия. Так же непросто научить компьютер отличать настоящее насилие от сцен из фильмов.
Вторая причина, как пишет The Washington Post, это бизнес-модель работы соцсетей, которая приносит компаниям миллиарды доходов от рекламы, в том числе и на стриминговых видео. И поэтому они разрабатывают инструменты, позволяющие максимально быстро распространять контент и охватывать как можно большую аудиторию.
Исследователь машинного обучения из Сан-Франциско Стивен Мерити считает, что технологические компании не хотят использовать более радикальные способы модерации контента из-за того, что это скажется на удобстве использования сайтов или на бизнес-модели. «Они не хотят этого делать, поэтому просто дают эти дикие обещания. Рассчитывать на будущие магические инновации не стоит», — сказал он в комментарии WP.