JigsawGAN: генеративная нейросетевая модель собирает пазлы

JigsawGAN — это генеративная self-supervised нейросетевая модель, которую обучили на задаче сбора пазлов. Модель принимает на вход хаотично расположенные части изображения. На основе этого модель восстанавливает оригинальное изображение. Нейросеть не требует дополнительной информации по изображению для поиска решения. Нейросеть обходит альтернативные подходы по количественным и качественным метрикам.

Предыдущие подходы для решения пазлов

Задача сбора пазла предполагает, что изображение разрезали на равные части квадратной формы. Модель должна восстановить изображение на основе информации из частей. Стандартные алгоритмы для решения пазлов используют информацию о границах частей для поиска решения. При этом такие решения игнорируют семантическую информацию, которая хранится в частях изображения. JigsawGAN решает это ограничение и использует семантическую информацию при поиске решения. 

Подробнее про архитектуру JigsawGAN

Исследователи разработали мультизадачный пайплайн, который включает в себя два этапа:

1. Классификация перестановок пазла;
2. GAN-модель, которая восстанавливает признаки для изображений в правильном порядке

Модель классификации ограничена искусственно сгенерированными лейблами, которые соответствуют перемешанным частям пазла. GAN извлекает из частей изображения семантические признаки. 

Источник: neurohive.io

Комментарии: