Генеративно-состязательная сеть для создания аниме персонажей из шума

Последнее время стали очень популярны нейронные сети, в особенности их применение для создания фотореалистичных изображений, которых никогда не существовало. Такие сети способны из 100 случайных чисел получить изображение человека, природы или кота. Мы решили изучить, как работают такие сети, тем более, что последние 2 месяца ведём разработку С++ библиотеки для работы с нейронными сетями (для заинтересовавшихся ссылка на репозиторий: https://github.com/dronperminov/ConvolutionNeuralNetwork).

Генеративно-состязательная сеть - это особая архитектура сетей, в которых используются сразу две нейронные сети - генератор и дискриминатор. Задача генератора - получать всё более и более похожие на реальные данные изображения, а задача дискриминатора - всё точнее отличать сгенерированные изображения от реальных.

Для проверки работоспособности написанной нами сети, мы решили обучить её генерировать образы героев аниме. Для этого был скачан датасет anime-faces и созданы две сети, основанные на свёрточных слоях, после чего был запущен процесс тренировки. Спустя всего 10 эпох начали прослеживаться основные черты лица. А спустя ещё 100 эпох начали появляться наиболее важные черты, свойственные анимешным героям - большие глаза и яркие волосы с острыми концами.

Результат работы генератора на 1, 100, 600 и1650 эпохе представлен ниже на картинках. А на GIF'ке можно посмотреть весь процесс обучения с шагом в 100 эпох.

Источник: github.com

Комментарии: