YouTube заменил зеленый экран нейросетью

Компания Google разработала нейросетевой алгоритм замены фона, способный обрабатывать видео в реальном времени даже на мобильных устройствах, при этом для этого не требуется зеленый экран. Новая функция уже доступна части пользователей мобильного приложения YouTube, сообщается в блоге Google.

Замену фона часто применяют при съемке современных фильмов или сериалов. Обычно для этого применяют хромакей — технологию, при которой актеры снимаются на ярком зеленом или синем фоне, после чего на этот фон в видеоредакторе накладывается другое изображение. Эта технология удобна для съемки больших проектов, но для повседневного использования обычными людьми плохо подходит, поскольку требует как наличия самого зеленого экрана для фона, так и навыков обработки подобного контента. Помимо этого также существуют технологии автоматического компьютерного вырезания фона, но большинство из них имеет низкое качество конечного изображения или требуют большой вычислительной мощности.

Разработчики из Google создали нейросетевой алгоритм для замены фона в реальном времени, который подходит даже для мобильных устройств. Они взяли за основу предложенную ранее архитектуру сверточной нейросети, разработанную именно для сегментации изображений. Поскольку задача заключалась в том, чтобы нейросеть могла работать в реальном времени на обычных смартфонах, разработчики оптимизировали нейросеть, снизив количество каналов на среднем уровне сети более, чем в 10 раз.

Суть работы нейросети сводится к стандартной процедуре сегментации на объект и фон. Для того, чтобы увеличить временную согласованность соседних кадров программисты добавили к трем каналам (красный, зеленый, синий) еще один, представляющий собой предыдущий сегментированный кадр.

Для тренировки нейросети разработчики создали набор данных, состоящий из десятков тысяч фотографий людей с размеченными частями лица и дополнительными объектами, к примеру, очками. В результате программисты получили нейросетевую модель, которая обрабатывает видео с камеры в реальном времени со скоростью более ста кадров в секунду на Apple iPhone 7 и более сорока кадров в секунду на Google Pixel 2. При этом коэффициент схожести обработанного нейросетью изображения с разметкой человеком достигает почти 95 процентов. Google уже встроила нейросеть в раздел историй мобильного приложения YouTube, в котором доступно несколько режимов замены фона, правда, пока новая функция доступна лишь части пользователей.

В прошлом году программисты из Adobe показали технологию, позволяющую удалять с видео объекты, к примеру, людей, и реалистично заменять образовавшееся место фоном. Но алгоритм работает не в реальном времени и требует довольно мощный компьютер. А разработчики из Google представили нейросетевой алгоритм, который может в реальном времени обрабатывать видео с камеры смартфона и расширять его динамический диапазон.

Григорий Копиев

Источник: nplus1.ru

Комментарии: