Что происходит, когда за девочек-волшебниц берутся нейросети?

Яна отправила тестировать Midjourney — приложение для генерации картин по описанию (по типу нейросети DALL-E от OpenAI). Меня интересовал специфический вопрос — на чем обучали Midjourney и где временная граница его "понимания" популярной культуры.

1. По-видимому, если написать в запросе magical girl, нейросеть не воспринимает запрос как семантическое целое: для нейросети важен концепт (1) magical и второй концепт — (2) girl, значения которых он объединяет и синтезирует изображение, в которых девушки выглядят по-волшебному. Конкретный термин 'magical girl' в значении специфичного жанра не первичен.

Тем интереснее, что в Midjourney представлена попытка снятия биаса (предвзятых предствлений нейросети, полученных из обучающей выборки: если 90% девочек на рисунках белокожие, то нейросеть будет генерировать девочек белокожими): в простом неспецифичном запросе (girl) генерируются иллюстрации как девочек с белой кожей, так и с более темными оттенками.

Также любопытно то, какими нейросеть представляет девочек-волшебниц. Преимущественно мы видим более европейскую форму a la Hogwarts, но рубашечность, рюшечность и сэйлорфукушность японских форм тоже проскальзывает.

Очевидно, нейросеть была обучена преимущественно на европейских иллюстрациях, поэтому по дефолту стилистика более объемная и менее графичная.

2. На запрос Madoka and Homura holding hands нейросеть генерирует изображения двух девушек, по своему облику вполне относящихся к жанру magical girls. То есть, семантика волшебности закреплена за этими именами в английском языке. Так-то это обычные японские имена, и Мадока вполне могла быть по фамилии Куросава.

Сохраняется и атрибутика жанра mahou shoujo. Тем интереснее иллюстрация, которую я вынесла первой в запись, которая случайным образом репрезентирует происходящее в сериале, персонажки определяются вполне однозначно.

Midjourney склонен к тому, чтобы смешивать волосы заданных описанием героев, поэтому почти во всех иллюстрациях розовые волосы Мадоки превратились в цветы над головами обеих девочек. Но в первой розовость все же сохранилась, можно разглядеть специфичную форму прически.

3. А вот о виртуальных ютьюберах Midjourney ничего не знает. Видимо, граница его датасета — 2020-е годы. Поэтому симпатичный дизайн не сгенерируешь, нейросеть не знает знает значения этого слова.

Протестировать Midjourney можно в официальном дискорд-боте (https://www.midjourney.com/home/). Каждому пользователю дается 25 бесплатных запросов. Подсмотреть примеры промптов (запросов) можно у юзеров, которые генерируют иллюстрации вместе с вами — чаще всего через запятую будут полезные теги, которые позволят использовать ваши бесплатные запросы на максимум в нескольких стилистиках. Доступна стилистика некоторых классических (диджитал-)художников (Миядзаки, Отомо и т.д., если говорить о японской стороне).

Наше с Яной приключение было вдохновлено работами художницы sunset again по Detroit: become human (https://sunsetagain.tumblr.com/post/695016200647966720/collaboration-with-midjourney-3-4-machine-hearts). Художница добавляет в свои рисунки сгенерированные Midjourney элементы — получается любопытно. Наверняка вы слышали о скандале, когда на художественном конкурсе первое место заняла работа, сгенерированная Midjourney (https://www.vice.com/en/article/bvmvqm/an-ai-generated-artwork-won-first-place-at-a-state-fair-fine-arts-competition-and-artists-are-pissed).

Выигравший конкурс Джейсон Аллен говорит о будущем, в котором машинно-генерируемое искусство станет одним из жанров искусства в принципе. Конечно, в машинной генерации есть своя наука, посмотреть на параметры нейросети можно в FAQе (https://midjourney.gitbook.io/docs/user-manual).

Такие примеры (в частности, пример sunset again) наводят на мысли о потенциальном использовании технологии — оно многоплановое. Оно может не только "подменять" человеческий труд, но идти вместе с ним рука об руку. Например, заказчик сможет сгенерировать несколько примеров для художника, чтобы лучше показать, что он хочет получить.

В контексте машинно генерируемого искусства мы с Яной пошутили над представлениями о машинным искусстве из истории Дэвида Кейджа. Посмотреть на наше совместное творчество в области мемов можно в арт-блоге Яны~ https://jashonja.tumblr.com/post/695091590288539648/jashonja-sunsetagain-collaboration-with

Пробуйте и присылайте наблюдения!

Источник: jashonja.tumblr.com

Комментарии: