Группа исследователей из Массачусетского технологического института (MIT) и Университета Брандейса в Массачусетсе разработала алгоритм, который умеет определять экстремистов в соцсетях еще до публикации ими соответствующих постов. Описание алгоритма, созданного на основе анализа нескольких тысяч учетных записей в сети микроблогов Twitter, было опубликовано в журнале Operations Research.
Отметим, что борьба с экстремизмом и разжигающим ненависть контентом является одной из главных и трудных задач для крупных интернет-компаний, включая Facebook, Twitter и YouTube. Власти разных стран требуют от платформ удалять такой контент в максимально сжатые сроки, но сотрудники, занимающиеся модерацией и призванные помогать им автоматические алгоритмы не всегда справляются с задачей. Кроме того, речь в этом случае идет о блокировке и удалении контента после его публикации.
Как пишет N+1, алгоритм американских исследователей, по сути, позволяет осуществлять премодерацию. Он основан на анализе пяти тысяч микроблогов, которые вели члены террористических организаций или связанные с ними пользователи (информация об этих аккаунтах была собрана через СМИ, блоги, аналитиков и правоохранительные органы). Для анализа ученые использовали 4,8 млн твитов, связанных с выбранными акаунтами, описания профилей этих пользователей, а также их друзей и подписчиков (это увеличило базу до 1,3 млн аккаунтов).
На основании этих данных при помощи статмоделирования ученые разработали модель, способную с высокой точностью определить, является ли тот или иной аккаунт экстремистским, до того, как его владелец опубликует первую запись.
По словам одного из соавторов исследования, пользователи, которые занимаются онлайн-экстремизмом, имеют схожие поведенческие характеристики в соцсетях, что и позволяет алгоритму выявлять их при создании новых аккаунтов.