Нейросеть моделирует процесс старения человека по изображению

Исследователи из University of Washington разработали нейросеть, которая по изображению моделирует процесс старения и омоложения лица человека. На вход модель получает фото лица младенца. На выходе нейросеть генерирует изображения прогрессивно стареющего лица. Аналогично для омоложения. Подход основан на архитектуре генеративно-состязательной сети. Предложенная модель обходит state-of-the-art подходы для моделирования возрастной трансформации.

Ограничения прошлых подходов

Большинство существующих методов, моделирующих старение, способны менять текстуру. При этом модели не учитывают возможные изменения формы головы, которые происходят со временем. Это ограничивает использование прошлых методов на изображениях детей. Исследователи предлагают multi-domain GAN архитектуру. Скрытое пространство  модели позволяет моделировать процесс возрастной трансформации в обе стороны.

Подробнее про модель

Нейросеть обучали на датасете FFHQ, в котором есть разметка возраста, гендера и семантическая сегментация. Фиксированные классы возраста выступают якорями для аппроксимации возрастной трансформации. Нейросеть предсказывает портрет головы для возрастов от 0 до 70 на основе одного изображения. При этом модель модифицирует как текстуру лица, так и форму головы.

Архитектура состоит из одного условного генератора и одного дискриминатора. Код и предобученные модели доступны в открытом репозитории на GitHub.