Нейросеть научили переносить художественный стиль на изображения

Исследователи представили новый инструмент под названием GANILLA - Генеративно-состязательную сеть для перевода фото в иллюстрацию. Целью своей разработки они видели перенос художественного авторского стиля на фото, но с сохранением информации на фото, то есть не видоизменяя объекты на фото. Ниже на примере вы можете видеть стилизацию фото под стиль работ Хаяо Миядзаки.

Предыдущие решения успешно обучались художественному стилю и могли его восстановить на фото, однако нейросеть старалась слишком усердно - многие объекты на фото теряли свои очертания частично или полностью, как будто нейросеть пытается нарисовать ранее увиденные объекты на изученных иллюстрациях взамен тех, что уже там есть. Либо же, нейросеть старалась недостаточно, тогда фото почти не менялось, приобретая лишь редкие признаки стиля. Помимо этого, на картинах часто появлялись нежеланные артефакты.

GANILLA очевидно справляется с этой проблемой, сохраняя все объекты на исходном фото в том виде, в котором они были изначально.

Авторы отмечают, что для обучения было использовано два разных классификатора: первый для сравнения форм, второй для сравнения стиля. Нейросеть при обучении ориентировалась на обе оценки.

Комментарии: