Как нейросети могут изменить кинематограф

Написать музыку и сценарий к фильму, подобрать шумы по видеоряду, поменять Хэнкса на Траволту: на что способны нейросети и насколько хорошо они с этим справляются — давайте разбираться.

Нейронная сеть — это база искусственного интеллекта. А одна из ее главных особенностей — многоуровневое глубокое обучение (deep learning), путем анализа заранее подготовленных вариантов. Например, распознавая объекты, нейросеть постепенно учится их классифицировать. Рассмотрим, как это умение применяется в кинематографе.

Кадр из фильма «Терминатор 3: Восстание машин» (2003)

Сценарий

Есть несколько случаев, когда люди решились экранизировать творения нейросетей.

В 2016 году Оскар Шарп снял «Sunspring» — короткометражный фильм в жанре научной фантастики. Несмотря на то, что нейросеть обучали на фильмах вроде «Звездные войны» и «Люди в черном», вышла довольно странная картина о будущем с непонятными диалогами.

Короткометражный фильм «Sunspring» (2016)

В 2007 году белорусская киностудия RitZEED сняла четырехминутный нейрофильм «Завод станкостроительных станков» в рамках 40-часового хакатона What the Hack 3.0 в Imaguru. Как и в предыдущем эксперименте, люди не вмешивались в работу машины, что и привело к полнейшему абсурду.

Нейрофильм «Завод станкостроительных станков» (2007)

Разработчик Зак Таут и вовсе создал нейронную сеть, которая написала пять глав книги «Ветра зимы» Джорджа Мартина. Работа, конечно, не была идеальной.

«Я начинал каждую главу, задавая первое слово, которым всегда служило имя персонажа, а потом говорил сети, сколько слов ей надо сгенерировать, — говорит Таут. — Я хотел, чтобы каждая глава шла от имени какого-то одного персонажа, как это происходит в книгах. Больше никакого редактирования с моей стороны не было».

А нейросеть студии Botnik самостоятельно написала фанфик о Гарри Поттере: «Пол замка выглядел как большая куча магии. А Дурсли в замке никогда не были, и здесь, в „Гарри Поттере и Портрете, Напоминающим Большую Кучу Пепла“, они тоже сюда не придут. Гарри посмотрел по сторонам и затем упал по спиральной лестнице на весь остаток лета». Сюжетные повороты продолжают удивлять на протяжении трех опубликованных страниц, так что советуем прочитать целиком.

Есть примеры и успешной работы нейросети как сценариста. Правда, это скорее сотрудничество искусственного интеллекта и человека. Нейронную сеть обучили на примере самых успешных рекламных роликов, после чего ей поставили задачу написать сценарий для продвижения новой модели автомобиля Lexus. Режиссером стал Кевин Макдональд, который явно вносил корректировки в авторский стиль нейросети.

Реклама автомобиля Lexus

Подводя небольшой итог, скажу, что сотрудничество с нейросетями — безусловно, интересный опыт. Однако без редактуры профессионального сценариста или режиссера это, пожалуй, так и останется абсурдным творением машины.

Саундтрек

Музыка — одна из главных сфер для экспериментов с нейросетями. Например, MuseNet может генерировать композиции с разными инструментами и комбинировать стили от Моцарта и Битлз до Lady Gaga и Queen. Задавая несколько параметров, мы получаем четырехминутную композицию, которая вполне походит на написанную реальными людьми.

Еще одна нейросеть называется Amper. Выбрав стиль (кинематографичная, рок, фолк, поп) и настроение, вы получите 30-секундную композицию, которая подойдет для небольших роликов. А с версией Pro вы даже сможете менять тональность, темп и длительность композиции. Расширенная версия также позволит редактировать мелодию и пересоздавать ее части.

AIVA — также любопытная нейросеть, генерирующая мелодии по вашим критериям. Стоит признать, звучит это вполне неплохо. В декабре 2019 года разработчики обещают дать возможность загружать композиции, на которых нейросеть будет обучаться для создания вашего персонального трека.

Композиция нейросети AIVA

А Warner Music подписали контракт с Endel — нейросетью, генерирующей музыку по выбранной стилистике. Например, чтобы расслабиться, сосредоточиться на чем-то или же поспать.

Однако, несмотря на контракты, нейросети все же вряд ли смогут заменить композиторов. Они могут генерировать неплохие короткие композиции, но в них не будет творчества. Это простая генерация royalty-free музыки без какой-либо художественной ценности.

Саунд-дизайн

Будучи звукорежиссером и саунд-дизайнером, не могу обойти вопрос влияния нейросетей на работу со звуком. Например, Эндрю Оуэнс создалалгоритм, подбирающий фоли-шумы ударов в зависимости от поверхности. Конечно, результаты не всегда идеальны, но потенциал колоссальный.

Foley-шумы ударов

Также интересный инструмент разработала команда проекта Magenta, исследовательского проекта Google. Нейросеть NSynth изучает звуки и создает на их основе совершенно новый, «используя акустические характеристики оригиналов. Таким образом, вы можете услышать частично флейту и частично ситару одновременно».

Развитие технологий всегда влияет на звук, так что будет интересно наблюдать за эволюцией нейронных сетей в этой области.

Работа с актерами

Наверное, самое известное применение нейронных сетей — Deepfake. Эта технология позволяет всячески манипулировать с изображением и видео.

???

Мэл Гибсон вместо Тома Харди в «Безумном Максе»

Джон Траволта вместо Тома Хэнкса в «Форресте Гампе»

Уилл Смит вместо Сэмюэла Л. Джексона в «Звездных Войнах»

Эту технологию нельзя недооценивать. Как минимум, она может вызвать серьезный скандал, если кто-то начнет заменять лица людей и выдавать какие-то кадры за реально существующие. Но и пользы от Deepfake может быть много.

Сейчас у многих актеров берут цифровые копии лиц для последующего использования. Но процесс воссоздания лица человека и внедрения его в фильм требует много времени. Нейросети же смогут это делать намного быстрее.

Что касается голоса, тут тоже технологии не стоят на месте. Недавно Тимур Бекмамбетов презентовал новый проект veravoice.ai, позволяющий синтезировать голоса знаменитостей. Если Deepfake решит вопрос визуального появления героя в к

адре, то нейросеть, умеющая говорить его голосом, сможет еще и озвучить это изображение.

Нейросеть Vera Voice

Нейросети — один из важнейших прорывов XXI века с огромным потенциалом. Думаю, что со временем, когда разработчики найдут способ еще более детального их обучения, мы получим что-то очень интересное.

Источник: www.cinemadslr.ru

Комментарии: