У пʼятницю, 15 березня, коли стався теракт у мечетях Нової Зеландії, і протягом усіх вихідних Facebook, Twitter і YouTube намагалися прибрати зі своїх платформ відео розстрілу людей. За даними NBC News, Facebook знадобилося близько півтори години, аби видалити вихідне відео та заблокувати профіль Брентона Тарранта, з якого він вів трансляцію. Але за цей час його встигли скопіювати тисячі разів та поширити як у Facebook, так і на інших платформах. Пізніше у Facebook заявили, що лише протягом перших 24 години заблокували півтора мільйона роликів з кадрами атаки. Про «тисячі видалених відео» повідомили у Twitter і YouTube.
Цей випадок знову порушив питання про проблему модерації у соцмережах контенту, що містить жорстокість та насильство. Компанії заявляють, що розробляють інструменти штучного інтелекту та наймають десятки тисяч працівників для модерування. Наприклад, модератори соцмереж можуть поставити на відео спеціальну цифрову позначку «хеш», яка допомагає знайти візуально схожі ролики чи заблокувати їхнє завантаження на платформу.
Як зауважує The Washington Post, такі алгоритми можна легко обійти. Для цього достатньо трохи змінити колір зображення, швидкість програвання, звук або ж вставити кадри в інше відео. А в YouTube визнали, що зіткнулися саме з цією проблемою під час пошуку нових завантажень відео новозеландської атаки.
Це далеко не перший випадок, коли у соцмережі потрапляє схоже відео. У 2015 році вбивця завантажив у Facebook відео, на якому він розстрілює двох журналістів у штаті Вірджинія. Після запуску в 2016 році відеосервісу Facebook Live у режимі реального часу транслювали десятки злочинів, зокрема й убивства. У 2017 році Стів Стівенс спочатку записав відео скоєного ним вбивства, а потім влаштував трансляцію, під час якої розповів про його подробиці. Того ж року в Таїланді чоловік транслював у Facebook, як вбиває власну доньку, після чого у прямому ефірі наклав на себе руки.
У березні 2017 року у Facebook пообіцяли поліпшити модерацію трансляцій у прямому ефірі та боротися з розповсюдженням таких роликів. У червні того ж року YouTube, Facebook, Twitter і Microsoft створили спільну групу з боротьби із тероризмом та екстремістськими матеріалами на своїх платформах. Але, як показують події в Новій Зеландії, вони як і раніше не можуть зупинити поширення в режимі реального часу вірусного контенту, що містить насильство.
Експерти зі штучного інтелекту кажуть, що на сьогодні немає технології, яка б дозволяла безпомилково виявляти насильство на потокових платформах. Навчити машини розпізнавати людину, яка розмахує зброєю, — складно, оскільки існує багато різних видів зброї. Так само складно навчити компʼютер відрізняти справжнє насильство від сцен із фільмів.
Друга причина, як пише The Washington Post, це бізнес-модель роботи соцмереж, яка приносить компаніям мільярди доходів від реклами, зокрема й на стримінгових відео. І тому вони розробляють інструменти, які дозволяють якнайшвидше поширювати контент та охоплювати якомога більшу аудиторію.
Дослідник машинного навчання з Сан-Франциско Стівен Меріті вважає, що технологічні компанії не хочуть використовувати більш радикальні методи модерації контенту тому, що це може вплинути на зручність користування сайтами або на бізнес-модель. «Вони не хочуть цього робити, тому просто дають ці дикі обіцянки. Розраховувати на майбутні магічні інновації не варто», — сказав він у коментарі WP.