Нейросеть обучили создавать пиксель-арт из рисунков без учителя

При создании пиксельной графики художники вручную прорисовывают каждый пиксель. Это считается стандартом в работе, но при работе с большими проектами (играми, мультфильмами) занимает слишком много времени. На конференции SIGGRAPH Asia 2018 команда разработчиков из Китая представила каскадную сеть на основе сверточных нейронных сетей, которая создает пиксельную графику из обычных рисунков, используя только входное изображение.

Как работает

Алгоритм последовательно изменяет входное изображение с помощью трех нейронных сетей:

1. Первая нейросеть, GridNet, создает из основного рисунка три изображения с разными уровнями пикселизации.
2. Затем нейросеть PixelNet превращает их в пиксельные рисунки.
3. На последнем этапе DepixelNet делает изображение более сглаженным.

Для тренировки использовалось два датасета. Первый содержал 900 рисунков в стиле пиксельной графики, второй — 900 обычных рисунков. Сеть обучалась без учителя. Это избавило исследователей от необходимости вручную создавать пары рисунков для обучения. Алгоритм учился создавать пиксель-арт из обычных изображений и, наоборот, обычные изображения из картинок с пиксельной графикой.

Технология превосходит предыдущие методы и позволяет создавать пиксельные рисунки, близкие к результату пиксель-арт художников. Как отмечают исследователи в статье, следующий этап их работы — создание качественной пиксельной графики из видео.