"Нейронная оборона" и "новый Рембрандт". Как нейросети пишут музыку, картины, киносценарии

Футурологи говорят, что скоро алгоритмы отберут у людей монотонную работу, — программы будут вести бухучет, управлять автомобилями, штамповать детали на заводах. А вот творческим специалистам — художникам, писателям, музыкантам — нечего бояться, по тем же прогнозам. Но сегодня нейросети пишут новые тексты, музыку, картины. Одни проекты подаются как постдокументализм, где автор играет с новыми технологиями в своем проекте, в других замыслах — нейросеть может помогать творцу. А есть картины, сгенерированные алгоритмами, которые уже продаются за деньги. Что думают об этом композиторы, художники и разработчики?

Курт Кобейн и Егор Летов. Возрожденные нейросетью

"А в глазах у тебя апельсиновый снег, и не будет в помине озлобленных птиц". "Дождик по миру брел живой, за собой вел свои войска".

Одна из цитат принадлежит Егору Летову, лидеру группы "Гражданская оборона". Другая — творение алгоритма, которого предварительно "накормили" песнями панк-рокера, а заодно всей русской поэзией.

Вы, скорее всего, не догадаетесь, где генеративная строчка, а где та, в которую Летов вкладывал чувства. Второй вариант — настоящая "Гражданская оборона".

Давайте еще раз — где Летов, а где алгоритм: "Мне будет сниться, ты можешь сбиться, и как много лет назад, в гости к богу в Ленинград", "Он гремит сапогами, но упал — гололед, и мы — лед под ногами майора".

В 2016 году Иван Ямщиков и Алексей Тихонов — разработчики "Яндекса" — выпустили альбом "Нейронной обороны" из 13 песен, куда вошла и песня с первой строчкой (про бога и Ленинград). Тогда многие поклонники удивлялись, не могли отличить генеративные тексты от Летова — настолько лирика была выдержана в его стиле.

"Нейросеть не может выдать осмысленный и связный текст. Мы собирали стихи по одной строчке, — объясняет Иван Ямщиков. — Видим интересную строку — оставляем, ищем ей "пару" и так далее. Видим неинтересную — пропускаем. Но мы ничего не дописывали, все, что есть в текстах "Нейронной обороны", создано нейросетью. Потом мы сочиняли музыку и сами исполняли песни".

Ямщиков и Тихонов выбрали Егора Летова для эксперимента после того, как поняли принцип: алгоритм хорошо стилизует творцов, у которых в текстах много странных и абсурдных образов. Алгоритм выдавал убедительного Даниила Хармса, но сомнительного Пушкина. Егор Летов с его оразами в духе "трогательным ножичком пытать свою плоть" подходил, а еще он просто нравился создателям. "Нейронная оборона" стала успешнее, чем Neurona — альбом Курта Кобейна, который разработчики выпустили спустя год после "возрождения" Летова.

"Нейронную оборону" послушали несколько сотен тысяч человек, а Neurona — около сотни тысяч, — говорит Ямщиков. — Но в первом случае мы собрали русскоязычную аудиторию, а во втором — англоязычную. Можно было лучше продвигать альбом, но это не наша специализация. Мы показываем эти работы на разных IT-конференциях. И делали их для того, чтобы показать людям, что умеют нейросети".

Над лирикой Курта Кобейна работали около полугода. "Сначала мы дали нейросети тексты Кобейна и всю английскую поэзию, — вспоминает Ямщиков. — Первые эксперименты показали, что тексты выходят не очень грамотными, дело в том, что в дата-сете были данные с платформ, куда любые желающие могут загрузить свои произведения, — а там есть стихи, написанные не носителями языка. Мы почистили дата-сет и получили симпатичные вещи".

"Наши первые эксперименты в 2016 году удивляли людей, а сейчас примеров того, как алгоритмы пишут музыку, тексты, картины, — много, — рассуждает Иван Ямщиков. — Это вообще интересный общественный процесс. Со второй половины XX века мы живем в мире постмодернизма, когда все уже придумано, сказано, написано, а творцы берут идеи и играют с ними, как с кубиками "Лего". И вот появляется нейросеть и говорит: "Я тоже могу играть в кубики "Лего". Технологии будут развиваться и в этой сфере и пойдут дальше. Представьте, что у вас дома есть не просто картина, написанная нейросетью, а интерактивная картина с сенсорами, датчиками, которая улавливает ваше настроение и в зависимости от него меняет изображение. Или она меняет "картинку" под каждого члена семьи. Вот то будущее, о котором сейчас говорят на научных и IT-конференциях, связанных с машинным обучением".

"Башмет сказал: "Да, здорово звучит". О пьесе нейросети

Нейросеть от разработчиков "Яндекса" стала соавтором пьесы, которую исполнил оркестр под руководством Юрия Башмета на прошлогоднем Зимнем фестивале искусств в Сочи.

"Цифровой восход" — так назвали пьесу — длится восемь минут, для ее создания алгоритму "скормили" четыре гигабайта произведений классиков — от Баха и Шнитке до Прокофьева и Шостаковича. Бот сгенерировал мелодии, которые собирал в готовое произведение композитор Кузьма Бодров.

"Это была идея организаторов фестиваля, — рассказывает он. — Разработчики сами работали с нейросетью, а я получил от них 20–25 аудиодорожек — каждая примерно по три минуты. Большая часть из них — бессвязные. Но я вычленил три-четыре интересных мотива — этого было достаточно — и дал им развитие и форму. Эти мотивы — странные, я бы так не придумал, но в них были какие-то проблески интонаций, которые меня зацепили".

На "сборку" у Бодрова ушло две недели. "Иногда две недели можно только искать идею — с чего начать? Здесь же миллиарды вариантов. А в этом случае мне не нужно было придумывать — основа дана".

Нейросеть создала оригинальные мелодии, но по стилю они напоминали американский минимализм. "Там паттерн много-много раз повторяется, — продолжает Бодров. — Я могу сказать, что получилось хорошо. Музыкантам понравилось, они говорили: "Клево", "Интересно". Но главная оценка — это слова Юрия Абрамовича Башмета. Он послушал и сказал: "Да, здорово звучит. Симпатичная вещь получилась".

Кузьма Бодров раньше не использовал алгоритмы в создании композиций. А вообще музыканты регулярно экспериментируют с нейросетями. Пару лет назад победители конкурса классической музыки в Германии использовали бота для создания мелодии.

Новый Рембрандт...

В апреле 2016 года команда разработчиков, спонсируемая Microsoft и голландским банком ING, показала обществу проект "Следующий Рембрандт" под лозунгом "Через 347 лет после смерти Рембрандта представлена его следующая картина".

С помощью нейросетей разработчики выявили параметры, которые делали его уникальным творцом, начиная от выбора темы работы до точных пропорций типичных рембрандтовских полотен. Получили преобладающую модель, которая представляла из себя "мужчину 30–40 лет в черном платье с белым воротником, лицо повернуто вправо". Этот комплекс параметров использовали для создания оригинального портрета, выполненного в стиле художника.

... и самая дорогая генеративная картина

Другой случай взволновал профессиональных художников. В 2017 году картина, написанная нейросетью, была продана за $432 тыс. на аукционе Christie's в Нью-Йорке. Эксперты изначально оценивали "Портрет Эдмона Белами" в $7 тыс. 

"Почему это кажется почти невероятным? Аукционные продажи опираются на такие вещи, как авторство, уникальность. Автор — такой демиург, работами которого хотят обладать коллекционеры, — говорит Александр Евангели, арт-критик, преподаватель в школе им. Родченко. — И когда работа, написанная алгоритмом, оказывается в рамке, за нее идет борьба, и она продается за такую сумму, — эта основа оказывается подорвана. Рыночный механизм сохраняется, а смысл — нет".

Впрочем, это единичный случай, подавляющее большинство картин, созданных нейросетью, ничего не стоят. И цена — не критерий в сфере искусства, добавляет Евангели: "Работы дадаистов очень низко оцениваются рынком — можно купить картину за $10 тыс., что совсем не соответствует вкладу этих творцов в культуру. Но профессионалы понимают — это искусство".

Алгоритмы породили в арт-среде много вопросов. "Чем будет искусство через 10–15 лет —  трудно сказать, но оно потеряет сегодняшние границы, —  говорит Евангели. — Рынок вокруг генеративного искусства к тому времени сформируется, почему нет? Сегодня продаются копии картин –— вы можете купить совсем недорогую картину и украсить дом. И вы можете купить картину, сделанную нейросетью, пусть она ничего не стоит сверх материалов, и повесить дома. Просто у людей есть потребность в украшении окружающей среды, но это не имеет отношения к искусству, речь идет о дизайне. Искусство, во-первых, останется как человеческая практика. Ведь живописцы любят писать картины, как люди любят играть друг с другом в шахматы, хотя алгоритмы уже давно играют лучше. А во-вторых, современное искусство будет комбинировать традиционные подходы и технологии".

"Картины, написанные нейросетью, — это неинтересно"

Елена Никоноле — медиахудожник, выпускница школы им. Родченко. У нее несколько проектов, связанных с нейросетями.

Первый эксперимент — проект Deus X mchn: нейросеть, которая обучалась на сакральных текстах из разных мировых религий — от Ветхого завета до Корана, анализировала их параметры и в итоге написала свой текст. Это сгенерированный псевдорелигиозный текст, в котором появились несуществующие слова.

"Вражебесное", "человеколетль", — приводит пример Елена. На втором этапе проекта Никоноле вместе со своей командой получала доступ к камерам с динамиками и прочим девайсам, имеющим выход в интернет и расположенным в общественных местах разных городов мира. "Огромная часть устройств по всему миру не защищены паролем", — говорит художница. Через устройства транслировался этот псевдосакральный текст. 

У художницы есть и другой эксперимент.

"Я обучила нейросеть на звуках пения соловья — а у них довольно сложная структура песни. Алгоритм анализировал и выделял паттерны в звуках и генерировал свои — сначала это было соловьиное пение с узнаваемыми технологическими "нотами", но по мере того, как нейросеть обучалась, она выдавала все более похожий результат. Я включала эти звуки птицам, они реагировали и начинали "разговаривать" с искусственным интеллектом. Мне было важно выразить метафору — общение искусственного разума с природой. Второй этап — алгоритм-переводчик, который сможет перевести на человеческий язык пение птиц".

Никоноле считает, что эксперименты с нейросетями в искусстве будут продолжаться. "Но картины, написанные нейросетью, — это базовый уровень, это неинтересно, — говорит она. — Интереснее комбинировать и выражать смыслы через использование технологий".

Гарри Поттер и странная научная фантастика

Алогориты не умеют создавать истории, ведь они, в отличие от людей-творцов, не понимают смысла того, что делают. Этот факт иллюстрирует короткометражка по сценерию нейросети. 

Sunspring — семиминутный фильм "о будущем, в котором люди столкнулись с массовой безработицей и, чтобы выжить, вынуждены продавать свою кровь". Идею, сценарий и диалоги написала программа, которой скормили много научной фантастики — от "Звездных войн" до "Терминатора". Создатели не вмешивались в "авторский замысел", потому что уловить смысл в диалогах героев почти невозможно. 

Еще авторы на чикагской студии Botnik использовали нейросеть для создания рассказа о Гарри Поттере. Алгоритму "скормили" романы Джоан Роулинг и попросили его написать новый. В трехстраничном рассказе "Гарри Поттер и портрет того, что выглядит как огромная куча пепла" друг Гарри — Рон — превращается в паука и пытается съесть родителей Гермионы.

Есть и относительно успешный кейс по применению нейросетей в создании историй. Три года назад короткий роман "День, когда компьютер напишет роман", написанный алгоритмом японцев, вышел в финал конкурса авторов. Создатели не только "покормили" нейросеть дата-сетом, но и прописали героев, события. Это был не единственный претендент на победу среди алгоритмов, десяток других нейророманов не вошел в шорт-лист.

Хотя арт-деятели уверены, что творения алгоритмов — это не искусство, в рамки современного искусства вписываются сами эксперименты. Тот же "Портрет Эдмона Белами" ставит вопрос о ценности авторства и рушит нормы рынка, появившегося раньше, чем ученые начали предсказывать появление искусственного разума.

Анастасия Степанова, Габриэла Чалабова