DeepPrivacy: нейросеть анонимизирует изображения

DeepPrivacy — это генеративная нейросеть для анонимизации лиц на изображении. Модель распознает лица на изображении и заменяет их на сгенерированные. Датасет, на котором обучалась модель, с 1.47 миллионом изображений лиц был опубликован. Для каждого лица на изображении есть разметка ключевых точек лица и границ лица. Исследователи предлагают новую архитектуру генератора, которая полностью избавляется от приватной информации на изображении.

Датасет с лицами 

Лица были извлечены из датасета YFCC100-M, в котором содержится 1.08 миллион изображений. Для разметки ключевых точек лица использовалась Mask R-CNN архитектура с базовой моделью ResNet-50 FPN. Границы лиц на изображениях распознавались с помощью Single Shot Scaleinvariant Face Detector. Чтобы объединить предсказания обоих нейросетей, исследователи соотносили предсказания ключевых точек и границ лица, если разметка глаза и носа находились в рамках одного bounding box.

Архитектура модели

Генератор имеет архитектуру U-net, чтобы учитывать информацию о заднем фоне изображения при обучении. Кодировщик и декодировщик имеют одинаковое количество фильтров на каждой свертке. Однако у декодера есть дополнительная свертка после каждой skip connection.

После каждого сверточного слоя идет слой с нормализацией пикселей и LeakyReLU.

Примеры работы модели

Работа модели валидировалась на датасете WIDER Face. Исследователи сравнивали DeepPrivacy с другими подходами для анонимизации лиц: затемнение, замена на крупные пиксели и размытие. Ниже видно, что DeepPrivacy на всех задачах близок или обходит state-of-the-art результаты.