Facebook теперь использует искусственный интеллект для сортировки контента для более быстрой модерации

Facebook всегда давал понять, что хочет, чтобы искусственный интеллект выполнял больше обязанностей по модерации на своих платформах. Сегодня он объявил о своем последнем шаге к этой цели: поставить машинное обучение во главе своей очереди модерации.

Вот как работает модерация на Facebook. Сообщения, которые, как считается, нарушают правила компании (которые включают в себя все, от спама до разжигания ненависти и контента, который “прославляет насилие”), помечаются либо пользователями, либо фильтрами машинного обучения. Некоторые очень четкие случаи рассматриваются автоматически (например, ответы могут включать удаление поста или блокировку учетной записи), в то время как остальные попадают в очередь для рассмотрения человеческими модераторами.

В Facebook работает около 15 000 таких модераторов по всему миру, и в прошлом его критиковали за то, что он не оказывает этим работникам достаточной поддержки, нанимая их в условиях, которые могут привести к травмам. Их работа состоит в том, чтобы сортировать помеченные сообщения и принимать решения о том, нарушают ли они различные политики компании.

В прошлом модераторы просматривали сообщения более или менее хронологически, рассматривая их в том порядке, в каком они были сообщены. Теперь Facebook говорит, что он хочет убедиться, что самые важные сообщения видны первыми, и использует машинное обучение, чтобы помочь. В будущем для сортировки этой очереди будет использоваться смесь различных алгоритмов машинного обучения, определяющих приоритет сообщений по трем критериям: их вирусность, серьезность и вероятность нарушения правил.

Как именно эти критерии взвешиваются, неясно, но Facebook говорит, что цель состоит в том, чтобы сначала разобраться с наиболее вредными постами. Таким образом, чем более вирусным является Сообщение (Чем больше его делят и видят), тем быстрее с ним разберутся. То же самое относится и к строгости поста. Facebook говорит, что он ранжирует сообщения, которые связаны с реальным ущербом, как наиболее важные. Это может означать контент, связанный с терроризмом, эксплуатацией детей или причинением себе вреда. Между тем такие сообщения, как спам, которые раздражают, но не травмируют, оцениваются как наименее важные для обзора.

"Все нарушения содержания все равно получат некоторую существенную человеческую оценку”

“Все нарушения контента по-прежнему будут подвергаться существенному человеческому анализу, но мы будем использовать эту систему для лучшего определения приоритетов [этого процесса]”, - сказал журналистам Райан Барнс, менеджер по продуктам команды целостности сообщества Facebook, во время пресс-брифинга.

Facebook поделился некоторыми подробностями о том, как его фильтры машинного обучения анализируют сообщения в прошлом. Эти системы включают модель под названием “WPIE“, которая расшифровывается как” встраивание целостности всего сообщения “и использует то, что Facebook называет” целостным " подходом к оценке контента.

Это означает, что алгоритмы оценивают различные элементы в любом заданном посте согласованно, пытаясь понять, что такое изображение,подпись, плакат и т. д., раскрываются вместе. Если кто-то говорит, что продает “полную партию” “особых угощений”, сопровождаемых фотографией того, что выглядит как хлебобулочные изделия, они говорят о квадратах рисовых чипсов или съестных припасах? Использование некоторых слов в заголовке (например, "мощный") может изменить суждение в ту или иную сторону.

Использование Facebook искусственного интеллекта для модерирования своих платформ в прошлом подвергалось критике, и критики отмечали, что искусственный интеллект не обладает способностью человека судить о контексте многих онлайн-коммуникаций. Особенно с такими темами, как дезинформация, запугивание и преследование, компьютер почти не может знать, на что он смотрит.

Крис Палоу из Facebook, инженер-программист из команды interaction integrity team, согласился с тем, что ИИ имеет свои пределы, но сказал журналистам, что технология все еще может играть определенную роль в удалении нежелательного контента. "Система состоит в том, чтобы жениться на ИИ и человеческих рецензентах, чтобы делать меньше полных ошибок”, - сказал Палоу. - Искусственный интеллект никогда не будет совершенным.”

Когда его спросили, какой процент сообщений системы машинного обучения компании классифицируют неправильно, Палоу не дал прямого ответа, но отметил, что Facebook позволяет автоматизированным системам работать без человеческого надзора только тогда, когда они так же точны, как и люди-рецензенты. "Планка для автоматизированных действий очень высока", - сказал он. Тем не менее, Facebook постоянно добавляет больше искусственного интеллекта в модерированный микс.

Источник: www.theverge.com

Комментарии: