AI бот в Телеграмм, который издевался над женщинами, все еще не контролируется

Бот автоматизировал злоупотребление глубоким фейком в Интернете. Исследователи говорят, что их предупреждения были проигнорированы, и Telegram не смог удалить их

Приложение для обмена сообщениями Telegram находится под давлением, чтобы расправиться с ботом ИИ, который сгенерировал десятки тысяч неконсенсусных изображений женщин на своей платформе.

Правоохранительные органы расследуют деятельность бота deepfake, который, как полагают, использовался для создания откровенных изображений несовершеннолетних девочек. Регулирующие органы по защите данных в Италии также начали расследование его использования, и доступ к боту был ограничен на iOS от Apple.

Тщательное изучение Telegram связано с тем, что в ходе многочисленных расследований использования службы обмена сообщениями были обнаружены частные группы, которые обмениваются фотографиями и видео женщин без согласия “порно мести”, которые не генерируются ИИ. В отчетах из Америки, Италии, Южной Кореи и Израиля подробно описано, как Telegram использовался для обмена оскорбительными изображениями в течение последнего года.

Исследователи утверждают, что Telegram не смог действовать против бота deepfake, который автоматизировал создание изображений обнаженных женщин без согласия. Бот использует версию инструмента DeepNude AI, который был первоначально создан в 2019 году, для удаления одежды с фотографий женщин и создания частей их тела. Любой желающий может легко использовать бота для создания изображений. Более 100 000 оскорбительных изображений были публично опубликованы ботом в нескольких каналах чата Telegram, связанных с ним. Эти каналы содержали десятки тысяч участников каждый.

Когда исследователи из охранной фирмы Sensity обнаружили бота в Telegram в начале этого года, они сообщили об этом в приложение для обмена сообщениями. Была надежда, что владельцы чат-платформы удалят бота со своей платформы и положат конец тому, как женщины подвергаются насилию с помощью технологий. Однако этого не произошло.

С тех пор как Sensity раскрыл существование бота в октябре, группы, которые использовали его для обмена изображениями, скрыли его. “Сейчас на самом деле сложнее добраться до бота”, - говорит Джорджио Патрини, генеральный директор и главный научный сотрудник Sensity. “Группы, которые рекламировали ботов в Telegram, по сути, замолчали".

Ряд групп, которые использовали бота, изменили свои имена, чтобы избежать идентификации. Многие каналы теперь делятся другим контентом, связанным с технологией deepfake в целом, и публичная галерея "обнаженных" изображений, созданных ботом, была удалена его владельцем. И некоторые каналы полностью исчезли.

Хотя группы вокруг бота в настоящее время не публикуют об этом, бот все еще существует и продолжает работать. “Бот никогда и никем не был уничтожен", - говорит Патрини. “С тех пор как мы стали публичными, бот все еще работает и работает по сей день”. Один из разработчиков учавствоваший в создании чат ботов в Телеграмм сказал, что бот будет продолжать работать под радаром. Создатель, личность которого неизвестна, не ответил на запрос о комментариях.

В конце октября бот Telegram стал недоступен на iPhone и iPad и показал сообщение о том, что он “нарушает" раздел 1.1 руководства Apple для разработчиков. Правила Apple гласят, что “откровенно сексуальные или порнографические материалы” запрещены в приложениях, доступных через App Store. С тех пор это сообщение в Telegram было заменено общим предупреждением, в котором говорится, что бот не может отображаться.

Apple не ответила на вопросы о Telegram или о том, просила ли она компанию ввести ограничения. Apple заявляет, что не может блокировать контент или отображать какие-либо сообщения в приложениях, которые ей не принадлежат, но уведомляет разработчиков, если обнаруживает какой-либо контент, противоречащий правилам App Store. В этих правилах говорится, что приложения, содержащие текст, фотографии или видео, загруженные людьми, которые их загружают, также должны включать способ фильтрации “нежелательных” материалов от публикации. Бот по-прежнему доступен на устройствах Android и в приложении Telegram для Mac.

В одном групповом чате Telegram о боте его владелец говорит, что Telegram заблокировал упоминания его имени. Однако WIRED не смогла подтвердить это или какие-либо действия, предпринятые Telegram. Ни представитель Telegram, ни основатель сервиса Павел Дуров не ответили на запросы о комментариях. Компания, которая, как полагают, базируется в Дубае, но имеет серверы по всему миру, никогда публично не комментировала вред, причиненный ботом Telegram, или ее дальнейшую позицию, позволяющую ей работать.

С момента своего основания в 2013 году Telegram позиционирует себя как частное пространство для свободы слова, и его сквозной зашифрованный режим используется журналистами и активистами по всему миру для защиты частной жизни и обхода цензуры. Однако приложение для обмена сообщениями столкнулось с проблемами с проблемным контентом. В июле 2017 года Telegram заявил, что создаст команду модераторов для удаления контента, связанного с терроризмом, после того, как Индонезия пригрозила ему запретом. Apple также временно удалила его из своего магазина приложений в 2018 году после обнаружения неприемлемого контента на платформе.

“Я думаю, что у них [Telegram] очень либертарианский взгляд на модерацию контента и просто на любое управление на своей платформе”, - говорит Махса Алимардани, исследователь Оксфордского интернет-института. Алимардани, который работал с активистами в Иране, указывает на Telegram, уведомляющий своих пользователей о поддельной версии приложения, созданной властями страны. “Похоже, что времена, когда они действительно действовали, это когда вмешивались государственные власти”.

23 октября итальянский орган по защите данных Garante per la Protezione dei dati Personali начал расследование в отношении Telegram и попросил его предоставить данные. В заявлении регулятора говорится, что изображения обнаженной натуры, созданные ботом, могут нанести “непоправимый ущерб" их жертвам. С тех пор как итальянские официальные лица начали свое расследование, Патрини провел дополнительные исследования в поисках ботов-фейков в Telegram. Он говорит, что существует ряд ботов на итальянском языке, которые, по-видимому, предлагают те же функции, что и ранее найденный Sensity, однако, похоже, они не работают.

Отдельное исследование, проведенное учеными Миланского университета и Туринского университета, также выявило сети телеграфных групп на итальянском языке, некоторые из которых были частными и могли быть доступны только по приглашению, обмениваясь интимными изображениями женщин без согласия, которые не связаны с технологией deepfake. Некоторые группы, которые они обнаружили, насчитывали более 30 000 участников и требовали, чтобы участники делились изображениями без согласия или были удалены из группы. Одна группа сосредоточилась на обмене изображениями женщин, которые были сделаны в общественных местах без их ведома.

“Telegram должен заглянуть внутрь себя и взять на себя ответственность”, - говорит Гонза Червенка, адвокат юридической фирмы McAllister Olivarius, которая специализируется на неконсенсусных изображениях и технологиях. Червенка говорит, что необходимы новые законы, чтобы заставить технологические компании лучше защищать своих пользователей и пресекать использование неправомерных технологий автоматизации. “Если он продолжит предлагать разработчикам API для ботов Telegram, он должен создать официальный магазин ботов и сертифицировать ботов так же, как Apple, Google и Microsoft делают для своих магазинов приложений”. Однако Червенка добавляет, что правительство или юридическое давление практически не оказывают, чтобы заставить Telegram пойти на такой шаг.

Патрини предупреждает, что технология deepfake быстро развивается, и бот Telegram является признаком того, что, вероятно, произойдет в будущем. Бот в Telegram был первым случаем, когда подобное злоупотребление изображениями было замечено в таких масштабах, и его легко использовать любому – никаких технических знаний не требуется. Это был также один из первых случаев, когда представители общественности были нацелены на технологию deepfake. Ранее знаменитости и общественные деятели были объектами порнографии с искусственным интеллектом без согласия. Но по мере того, как технология становится все более демократизированной, в Интернете будет обнаруживаться все больше случаев такого рода злоупотреблений, говорит он.

“Это было одно расследование, но мы находим подобные злоупотребления во многих местах в Интернете”, - объясняет Патрини. “Есть, в меньшем масштабе, много других мест в Интернете, где изображения украдены или просочились и используются повторно, модифицируются, воссоздаются и синтезируются или используются для обучения алгоритмов искусственного интеллекта для создания изображений, которые используют наши лица без нашего ведома”.

Источник: vk.com

Комментарии: