IC-GAN: генерация синтетических изображений без обучения отдельным объектам

IC-GAN — набор моделей FAIR для генерации изображений, объекты и сцены на которых отсутствовали в обучающем датасете. IC-GAN можно использовать для аугментации данных.

Генеративно-состязательные сети (GAN) — хорошо зарекомендовавший себя метод создания как фотореалистичных, так и абстрактных изображений. Однако на сегодняшний день эти модели имеют важное ограничение: обычно они могут генерировать изображения только тех объектов или сцен, которые изначально присутствовали в обучающем датасете. IC-GAN решает эту задачу, позволяя, например, создать изображение с верблюдами, окруженными снегом, или с зеброй в городской среде.

IC-GAN может использоваться как с аннотированными, так и с неаннотированными датасетами. Это расширяет рамки GAN для моделирования смеси локальных и перекрывающихся кластеров данных. IC-GAN может взять одно изображение, а затем сгенерировать изображения, похожие на ближайших соседей экземпляра в наборе данных. Ближайшие соседи используются в качестве входных данных для дискриминатора, чтобы заставить генератор создавать выборки, аналогичные выборкам окрестностей каждого входного изображения.

IC-GAN можно использовать для аугментации данных и включения элементов или объектов, которые обычно не встречаются в обучающих данных. IC-GAN может генерировать более разнообразные обучающие данные для моделей распознавания объектов. Например, традиционные модели GAN не смогут генерировать изображения зебр в городской среде, поскольку их обучающие данные, скорее всего, будут содержать только изображения зебр в дикой природе.