SAM: нейросеть меняет возраст на изображении лица человека

SAM — это нейросетевая модель, которая меняет возраст человека на изображении. Модель принимает на вход изображение лица человека и целевой возраст. На выходе нейросеть отдает сгенерированное изображение, где лицо целевой персоны изменено в соответствии с возрастным сдвигом. Модель умеет как омолаживать лица на изображениях, так и состаривать. В качестве архитектуры исследователи использовали генеративно-состязательную модель StyleGAN. Модель позволяет редактировать сгенерированные изображения. По результатам экспериментов, SAM обходит state-of-the-art подходы.

Зачем это нужно

Задача трансформации возраста на изобржении заключается в том, что бы изменить внешний вид человека в соответствии с возрастом. Реалистичное моделирование такой трансформации для входного изображения лица требует от модели учесть изменение черт лица и формы головы и сохранить личность персоны на фото. Разработчики предлагают нейросеть, которая основывается на GAN, и способна моделировать возрастные изменения лица человека.

Подробнее про подход

Исследователи решают задачу моделировать непрерывный процесс старения как задачу регрессии между входным возрастом и целевым возрастом. Сеть получает на вход изображения лица и целевой возраст. Сначала энкодер извлекает 18 карт признаков, которые соответствуют 18 входам для StyleGAN, отвечающим за стиль. Затем используются слои map2style, которые постепенно уменьшают размерность каждой карты признаков до одного вектора стиля размером в 512. Исследователи дополнительно используют предобученный энкодер pSp для извлечения скрытого кода, который затем используется в полученном векторе измененного возраста. После этого предобученная StyleGAN генерирует изображение измененного лица с помощью векторного представления входного изображения.