ISD: сторонники террористических групп маскируют ИИ-пропаганду под мемы и мультфильмы

Исследователи Института стратегического диалога обнаружили в TikTok 150 созданных с помощью генеративного ИИ пропагандистских роликов, набравших в общей сложности более 5,4 млн просмотров. Стилизация под мультфильмы, аниме и фанатские видео затрудняет распознавание экстремистских материалов и помогает им проникать в рекомендательные ленты.

Сторонники исламистских террористических организаций используют инструменты генеративного искусственного интеллекта, чтобы превращать пропагандистские материалы в мультфильмы, аниме, мемы и фанатские монтажи. Эту тенденцию Институт стратегического диалога (Institute for Strategic Dialogue, ISD) назвал Slop Jihad — по аналогии с термином «ИИ-мусор» для массового низкокачественного контента.

Исследователь ISD Мустафа Аяд обнаружил в TikTok 150 таких видео, размещённых 71 учётной записью. Совокупное число просмотров превысило 5,4 млн. Отдельные примеры были найдены также в Instagram и Facebook, однако основная часть изученного контента распространялась через TikTok.

Авторы исследования считают, что развлекательная стилистика снижает заметность привычной символики террористических организаций. Пользователь может сначала столкнуться с мемом или мультфильмом, после чего рекомендательная система способна предложить ему более откровенную пропаганду. При этом производство и переработка роликов становятся дешевле и доступнее для децентрализованного сообщества сторонников экстремистских групп.

TikTok оспорил выводы ISD, назвав методологию недостаточно определённой. Компания заявила, что запрещает присутствие террористических и разжигающих ненависть организаций и использует автоматические средства, команды модераторов и внешние партнёрства для поиска нарушений. Все упомянутые в исследовании материалы были удалены; десятки роликов платформа заблокировала после того, как их передал TikTok журнал WIRED.