ИИ будет озвучивать кино вместо актёров

Монтаж отснятого видео — трудоёмкий процесс. Одна неправильная реплика может стать причиной повторной съёмки или сложных режиссёрских манипуляций над готовым материалом. Решить эту проблему взялись учёные, переложив функции монтажа неудачных дублей на искусственный интеллект, способный «проговорить» нужные фразы от лица актёра незаметно для зрителя.

Команда исследователей Стэнфордского университета создала оригинальный алгоритм для редактирования звуковой дорожки с помощью простого текстового ввода. Приложение использует механизм расшифровки речевых движений из различных фрагментов предварительно записанного ролика и преобразует их в отредактированный материал, «дорисовывая» нужные движения губ актёров и дикторов. Как и при обработке текста, можно добавлять новые слова, удалять ненужные или полностью переставлять целые реплики, чтобы получить законченное видео, которое выглядит естественно для неподготовленного зрителя.

Если актёр произнесёт заготовленный текст с ошибкой, для редактирования материала потребуется лишь ввести корректировку с помощью клавиатуры. Технология машинного обучения Neural Rendering «соберёт» правильное слово из различных слов или частей слов, произнесённых в других отрезках записи. На текущем этапе разработки искусственному интеллекту требуется для обучения исходное видео продолжительностью не менее 40 минут.

«К сожалению, такие технологии всегда будут привлекать плохих актёров. Но разработка стоит того, учитывая множество творческих приложений для редактирования видео и создания контента, которые появятся благодаря ей», — отметил Охад Фрид, доктор наук Стэнфордского университета.

Исследователи утверждают, что новый метод редактирования видео станет хорошим подспорьем для редакторов и продюсеров, но опасаются, что алгоритм может быть использован для создания фейковых роликов. По их словам, использованию такого инструмента необходимо регламентировать. В частности, они предлагают уведомлять зрителей о том, что видео было отредактировано с помощью нейросети.

Источник: m.vk.com

Комментарии: