Возвращение четкого попугая: как нейросеть реставрирует старые советские мультфильмы

В чем фишка технологии?

Основная задача DeepHD состоит в улучшении изображения и видео в реальном времени. Генеративно-состязательные сети (Generative Adversarial Network, GAN) — основа программы, — повышают разрешение, дорисовывают и восстанавливают детали. Они убирают шумы и дефекты, которые возникают при передаче или сжатии изображения. Алгоритм работает как со старыми пленками, так и с трансляциями в прямом эфире. Видео, которые обработали с помощью технологии, имеют значок «dHD».

Как это работает?

Технология состоит из двух этапов, каждый из которых имеет свою нейросеть. В одном алгоритме с картинки убираются помехи, а в другом, генераторе, изображение становится крупнее. Систему обучали на образцах в высоком разрешении, которые уменьшили для приближения к реальности.

После обработки получались «настоящий» и «искусственный» кадры с хорошим разрешением. Нейросеть «классификатор» проверяла сохранность изображения и наличие лишних элементов. «Дискриминатор» определял достоверность картинок между собой. Если «подделка» становилась «подлинником», то нейросеть справлялась со своей работой.

Большой набор данных «научил» сеть различать объекты и поверхности в различных качестве и размере. Сверхточные слои извлекают сложные свойства изображения и восстанавливают детали. Контентная функция потерь преобразует картинку в карты признаков и уменьшает расстояние между ними. Разработчики улучшили также оценку качества изображения. В этом им помогли пользователи сервиса «Яндекс.Толока», которые выбирали наиболее качественные видео.

Как это отразилось на фильмах и мультфильмах?

В мае 2018 года создатели испытали DeepHD на нескольких старых советских фильмах. Среди них оказались ленты «Летят журавли» Михаила Калатозова, «Судьба человека» Сергея Бондарчука, «Иваново детство» Андрея Тарковского и другие. Зрители отметили разницу между изображениями. У героев улучшились мимика и фактура одежды, исчезли пересветы, стали заметны предметы в тени. Картины разместили на сервисе «КиноПоиск».

Осенью с помощью технологии улучшили качество 10 анимационных лент «Союзмультфильма». В подборку попали «Аленький цветочек», «Золотая антилопа», «Дюймовочка», «Бременские музыканты», циклы «Маугли» и «Котенок по имени Гав» и другие. Нейросеть повысила качество фонов, вернула детали, которые потерялись при оцифровке, и сделала персонажей четче. Отреставрированные мультфильмы тоже находятся на «КиноПоиске».

Возможно ли обойтись без DeepHD?

Любители-реставраторы считают, что можно «починить» старый фильм или мультфильм без сложных технологий. Необходимо иметь исходник, который можно оцифровать в Adobe Premiere и разбить на куски. Восстановление займет много времени, но результат будет похож на DeepHD.

С помощью программ Combustion и VirtualDubMod возможно поправить цвет, повысить резкость и убрать шумы. Альтернативой для них является Adobe After Effects, в котором есть рисование на видеодорожке. Похожей функцией обладает TVPaint animation с ретушью царапин и работой с несколькими кадрами одновременно.

Источники

1. Яндекс, раздел «Технологии». DeepHD
2. Как Яндекс применил компьютерное зрение для повышения качества видеотрансляций. Технология DeepHD
3. DeepHD. Технология Яндекса, улучшающая изображения и видео при помощи искусственного интеллекта
4. «Яндекс» использует искусственный интеллект для реставрации мультфильмов
5. Форум на сайте «ProDisney. ru»

Источник: habr.ru

Комментарии: