Spiral++: RL-агента обучили рисовать лица людей

Spiral++ — это генеративный алгоритм, который моделирует процесс рисования объектов. RL-агенты в Spiral++ используются как генеративные модели изображений.

Агент работает в среде, которая симулирует холст. Дискриминатор контролирует реалистичность сгенерированных изображений и выдает награду агенту. У Spiral++ есть две опции — реконструкция входного снимка и свободное рисование. 

Модель также способна рисовать абстрактные изображения и масштабируется на реалистичные. Spiral++ выучивает разные стили рисования под воздействием внешних факторов. Когда агенты ограничиваются в возможных действиях, агенты начинают генерировать абстрактные изображения, несмотря на то, что обучались на реальных снимках. В то время как большее время обучения результирует в повышение реалистичности генерируемых изображений. 

Архитектура модели

Цель SPIRAL — обучить policy, которая контролирует симулятор для рендеринга с помощью состязательного обучения. На каждом шаге policy принимает текущее состояние рисунка и выдает команду для симулятора с действием для обновления рисунка. Каждая команда содержит в себе характеристики мазка: форма, цвет, яркость и подобное. В SPIRAL обучающий сигнал для policy приходит в формате награды. Размер награды рассчитывается дискриминатором, который сравнивает сгенерированные рисунками с реальными снимками. В итоге модель выдает policy, которая генерирует последовательность команд с мазками для холста, чтобы отрисовать объект максимально реалистично. 

В SPIRAL два обучаемых компонента:

1. Policy нейросеть или агент, которая принимает на вход частично заполненный холст и выдает параметры действия для агента;
2. Нейросеть-дискриминатор, которая принимает на вход итог policy и классифицирует его как сгенерированный или реальный

Проверка качества модели

Исследователи качественным методом сравнили сгенерированные моделью изображения. Ниже видно, как модель обучилась рисовать абстрактные изображения лиц за 32 обучающих шага.