«Глазирование», как способ защиты изображений от использования их нейросетями

Некоторое время назад на популярной площадке для художников ArtStation прошла небольшая забастовка. Многие авторы опубликовали у себя в профиле изображения с буквами AI в перечеркнутом круге и надписью NO TO AI GENERATED IMAGES, что означает «Нет изображениям, сгенерированным искусственным интеллектом». Тем самым они выражали свой протест тому, что фрагменты их изображений или элементы узнаваемого стиля используются в обучении моделей ИИ и в дальнейшем могут генерироваться без каких-либо ограничений, а сами авторы при этом не получают никаких отчислений за использование их работ. До сих пор нет четкого регулирования авторских прав для таких изображений, а на сегодняшний день сгенерированные картинки вообще считаются собственностью компании, чьим программным обеспечением они были получены. Тут можно поспорить об этической стороне вопроса или о том, останутся ли художники без работы, но сегодня речь пойдет не об этом. Я хочу рассказать о способе противодействия генерации (или защиты авторского права, если хотите), который были разработан исследовательской группой из Чикаго.

Для начала стоит сказать пару слов о том, как вообще генерируются изображения в современных инструментах, таких как DALL-E, Stable Diffusion или Midjourney. Представьте, что у вас есть правильно собранный кубик рубика. Если вы ему повернете одну грань, то он немного изменится, но известно, что нужно сделать, чтобы вернуть его обратно. Затем опять крутите грань, но уже два раза (одну и ту же или разные). Теперь для возвращения к исходному состоянию нужно два шага, но они тоже известны. И так далее можно крутить до полного превращения кубика в арт-объект (потому что ты так и не научился его собирать, вот пусть теперь стоит на полке, дрянь разноцветная). Так и с изображениями. К исходному файлу постепенно добавляют шум до его полного превращения в разноцветное месиво из пикселей. И на каждом шаге модель учится предсказывать какой шум нужно убрать, чтобы восстановить исходное изображение. И таких изображений через модель прогоняется очень много. Как если бы у нас были разные кубики, с разным набором цветов, количества элементов на гранях и так далее. Теперь сюда ещё добавляются данные из другой нейросетевой модели, обученной на парах текст-изображение. На самом деле матрешка из нескольких нейросетей тут еще сложнее, но это сейчас не имеет значения. Принимаю как факт, что у нас есть механизм, который позволяет с определенной долей вероятности определить, что на картинке изображена чашка или кот или что ещё угодно, выраженное простым текстом.

Теперь, чтобы сгенерировать «пушистого ублюдка», нейросеть к случайному шуму по шагам начинает применять процесс избавления от шумов, то есть как будто вы начинаете собирать ваш кубик. И на каждом шаге выбирается вариант, наиболее совпадающий с текстовым запросом. То есть после каждого убирания шума нейросеть проверяет, получился ли результат похожим на шерстяного ублюдка или нет. И так пока, наконец, не получится четкое изображение. Тут еще стоит заметить, что на этапе сравнения может использоваться не текст, а, например, данные о стиле определенного автора. С копированием стиля как раз и предлагает бороться группа исследователей из Чикагского университета.

Первым их инструментом стало приложение под названием Glaze. Как оно устроено? Для начала берется работа художника, которую нужно защитить. Затем выбирается какой-нибудь стиль, желательно максимально далекий от защищаемого, и по нему строятся отличительные признаки. Ну точнее не строятся, а они уже есть в обученных моделях. Далее, при помощи этих моделей генерируются новые изображения из исходного, но с добавлением выбранного стиля. На основе них выбираются усредненные данные о характеристиках этого стиля, причем в разрезе применения именно к исходнику. Ну и, наконец, к оригиналу применяется модификация, основанная на этих данных. И вот тут в дело вступает ещё одна нейросеть (а вы думали всё, да?), которая определяет степень отличия модифицированного изображения от оригинала. Это позволяет подобрать такое значение изменений, чтобы они не были заметны человеческим глазом. Теперь, если загрузить в сеть измененное, то есть глазированное (по названию приложения) изображение, то при обучении по нему нейросетей в модель будет попадать информация о подмешанном паразитном стиле и что-то, копирующее стиль оригинала уже не получится сгенерировать.

Давайте ещё раз, но на примере. Допустим у меня есть детская раскраска со слоником, уже частично закрашенная, и карандаши разных цветов. Я возьму группу детей и раздам всем случайным образом по одному карандашу какого-то цвета. Теперь, я дам мою раскраску одному из детей, например Васе. Я пока не знаю, что у него оказался синий карандаш. После того, как Вася вернет мне раскраску, я сохраню её и дам ему ещё одну копию первоначальной раскраски. И ещё одну. Да, Вася не сможет каждый раз раскрасить её одинаково. Что вы хотите от шестилетнего ребенка? Но если посмотреть на все раскраски, полученные от Васи, то я увижу, что на них всех много синего цвета (Вася очень старался и не жалел карандаша). То есть вот они — отличительные особенности Васиного стиля, применительно к исходному изображению, то есть моей раскраске. Для простоты ещё буду считать, что другого синего цвета на раскраске не было.

Теперь, если опять взять первоначальную раскраску и дополнительно позакрашивать её синим в разных местах, делая некий общий рисунок того, как закрашивал Вася, то получится как раз глазированное изображение. Этот синий может быть и не очень ярким, но если я начну пристально рассматривать изображение и найду синий цвет, то точно буду уверен, что Вася приложил к нему руку.

Теперь, если я попрошу нейросеть сгенерировать мне картинку похожую на раскраску со слоником, на каждом шаге избавления от шума, чтобы принять решение о том, подходит текущее изображение или нет, нейросеть будет сверяется с моделью, построенной по глазированным изображениям с добавлением синего карандаша и итоговой результат будет, фигурально выражаясь, содержать большую синюю надпись «Здесь был Вася», а что-то по мелочи возможно останется от слоника.

Конечно, у предложенного механизма есть много ограничений, например его нельзя применить к уже обученным моделям, т.е. в стиль Пикассо уже не добавить Васиных каляк. Да и наверняка появятся механизмы, которые позволят обходить такую защиту.

Есть у авторов и другое приложение, в котором предлагается загружать в сеть специально испорченные изображения, чтобы добавлять так называемое отравление в модели. В результате, например в набор изображений кошек попадут собаки и так далее. Но его я сегодня рассматривать не буду.

Так или иначе, кажется, что в будущем нас ждёт настоящая война машин, однако она будет совсем не похожа на сцены из фильмов про Терминатора, а будет выражаться в попискивании серверов и жужжании кулеров видеокарт, на чипах которых в это время будут обучаться нейросети, сражающиеся друг с другом в яростной битве за авторское право :)

Источник: vk.com

Комментарии: