FaceShifter: нейросеть заменяет лица на фотографиях

FaceShifter — это двухступенчатый нейросетевой фреймворк для реалистичного переноса лица на изображение человека. Модель устойчива к окклюзии лиц на входных изображениях. Исследователи заявляют, что FaceShifter лучше, чем предыдущие подходы, сохраняет черты целевой личности в сгенерированном изображении.

Предыдущие подходы для подмены лиц использует ограниченную информацию из целевого изображения при генерации подмененного изображения. FaceShifter на первом этапе генерирует подмененное изображение с помощью адаптивного внедрения признаков из целевого изображения. Исследователи представляют новый энкодер атрибутов, который извлекает многоуровневые признаки из изображения целевого лица. Кроме этого, генератор в модели основывается на Adaptive Attentional Denormalization (AAD) слоях. Такая архитектура генератора позволяет адаптивно интегрировать черты целевого лица в итоговое изображение.

Второй этап модель решает проблему частичной окклюзии лица на изображении. На этом этапе обучается нейросеть Heuristic Error Acknowledging Refinement Network (HEAR-Net). Модель обучается восстанавливать нереалистичные части изображения в self-supervised сеттинге. HEAR-Net не требует ручной разметки для обучения.

Что внутри FaceShifter

FaceShifter состоит из двух подсетей:

1. AEI-Net, которая генерирует изображение целевого лица;
2. HEAR-Net, которая избавляется от артефактов на сгенерированном изображении

AEI-Net состоит из энкодера личности (Identity Encoder), многоуровневого энкодера атрибутов (Multi-level Attributes Encoder) и генератора (AAD-Generator). AAD-Generator интегрирует информацию о личности и атрибутах на нескольких уровнях с помощью блоков AAD ResBlks. Такие блоки основываются на AAD слоях.

Тестирование работы модели

Исследователи сравнили фреймворк с state-of-the-art моделями для подмены лица: FaceSwap, Nirkin et al., DeepFakes и IPGAN. Модели тестировали на датасете FaceForensics++. FaceShifter лучше остальных моделей справляется с сохранением формы лица на входном изображении и более точно передает атрибуты целевого изображения. Под атрибутами понимаются освещение и разрешение изображения.