Нейросети сочиняют стихи и музыку, но способны ли они творить? Александр Крайнов, руководитель службы компьютерного зрения и технологий машинного интеллекта "Яндекса", рассказал, как его команде удалось превратить искусственный интеллект в реставратора картин, когда подобные технологии проникнут в нашу жизнь и какие нестандартные задачи смогут решать.
Сияние искусственного разума
Благодаря развитию математики и росту вычислительных мощностей у ученых появилась возможность формировать сложные нейросети, системы искусственного интеллекта, умеющие решать нетривиальные задачи и даже "мыслить" креативно, создавая новые образцы искусства и технологий.
К примеру, только за последние два года ученые разработали ИИ, обыгрывающий человека в непросчитываемую древнекитайскую игру го, обучаясь при этом с нуля, отыскивающий важнейшие события в истории по газетам, сочиняющий сценарии к компьютерным играм, раскрашивающий фотографии и видеоролики под Ван Гога и рисующий собственные картины.
В 2017-м представили систему ИИ, умеющую отличать родинки от меланомы лучше, чем самые опытные дерматологи. Чуть раньше программисты "Яндекса" создали нейросети, записавшие музыкальные альбомы в духе "Нирваны" и "Гражданской обороны" и рисовавшие в стиле Василия Кандинского.
Александр Крайнов, руководитель службы компьютерного зрения и технологий машинного интеллекта "Яндекса"
Многие из этих "творческих" достижений искусственного разума стали возможными благодаря так называемым состязательным, или GAN, сетям, не только распознающим какие-то объекты или решающим задачи, но и самостоятельно вырабатывающим что-то новое.
Как правило, такая система ИИ состоит из двух соперничающих между собой блоков. Один из них, "генератор", предлагает новые варианты, а другой, "инспектор", пытается понять, нет ли ошибки и укладываются ли выполненные выкладки в определенные критерии.
Такую сеть сложнее обучить нужным действиям и достичь максимума производительности, но зато она потом гораздо надежнее. С другой стороны, ее можно научить даже тому, что сам человек плохо себе представляет.
"Сделай то, не знаю что"
С этой проблемой недавно столкнулись программисты "Яндекса", занимающиеся системами машинного зрения для беспилотников и "глазами" Алисы, виртуального помощника российской поисковой компании.
"Это, по сути, был просто творческий эксперимент. Нас нашли ребята из Екатеринбурга, которые занимаются стрит-артом, и попросили подумать, какие технологии позволят создать что-то новое, выходящее за рамки обыденного "кибернетического" искусства", — объясняет Крайнов.
По его словам, данный проект был для него и его команды своеобразным хобби, никак не связанным с тем, чем обычно занимаются разработчики систем машинного зрения "Яндекса" — копированием того, как видит мир человек.
"Обычно нейронные сети учатся на примерах. По сути, они копируют имеющиеся образцы. Это замечательно работает с музыкой и стихами — если ИИ сочиняет музыку или стихи как человек, все в восторге. Неожиданно оказалось, что с изобразительным искусством это не так", — рассказывает Александр.
Как отмечает Крайнов, продукты творчества нейросетей, простые стилистические копии художников, казались зрителям скучными и неинтересными, тем, что может каждый. "Нам пришлось решать задачу без четкой формулировки — заставить искусственный интеллект сделать что-то не так, как это бы сделал человек, и чтобы результат при этом не был ерундой", — поясняет исследователь.
Восстановленная древнеримская фреска, напечатанная роботом на стене жилого дома в Екатеринбурге
Ученые подумали и нашли нетривиальный выход из ситуации — они поставили нейросеть в такие условия, в которых, как выражается Крайнов, она в принципе не могла поступить как человек в силу неполноты данных и ограниченности самой сети, неизменных особенностей ее устройства.
"В этом нам помог наш недавний проект, совместный с коллегами из "Сколтеха", — Deep Image Prior. Это классическая научная работа, у которой вряд ли будут практические применения в ближайшее время. В ее рамках нейросеть пытается воспроизвести изображение без обучения, получая на входе лишь некий шум", — рассказывает специалист "Яндекса".
Глубинную сеть, как установили исследователи из "Яндекса" и "Сколтеха", можно использовать для удаления шумов из изображения, повышения его разрешения и даже восстановления потерянных сегментов картинки или удаления различных надписей, нанесенных поверх фотографии, не тренируя ее на большом наборе примеров и других изображений. По сути, ученые случайно меняли структуру самой сети, а анализируемые ею данные оставались всегда одинаковыми.
Эти же идеи Крайнов и его сподвижники применили для создания нейросети, выполняющей роль своеобразного реставратора древних фресок и картин, поврежденных от времени или вандалами.
"Наше вмешательство в данном случае заключалось в том, что мы указывали сети на те части картинки, которые необходимо заменить. Все остальное она делала сама, не получая никаких подсказок и ориентируясь только на окрестное изображение. Это невероятно сложная задача, успешное решение которой демонстрирует, что нейронная сеть может найти априорную информацию, имеющуюся в одной фотографии", — подчеркивает Крайнов.
В данном случае, пояснил исследователь, это можно сравнить с тем, как если бы система ИИ AlphaGo Zero, способная к "беспримерному" самообучению, стала мастером этой древнекитайской стратегии, сыграв всего одну партию, а не миллиарды игр с менее совершенной копией себя.
На службе искусства и науки
Кибернетического реставратора опробовали на древнеримской фреске, найденной в Испании в 1968 году. Во времена династии Флавиев она украшала пол виллы Ла-Ольмеда. Художники и искусствоведы восстановили большую часть фрески: на ней изображен один из сюжетов древнегреческих мифов о похождениях Ахиллеса. Однако некоторые элементы так и остались непонятными.
Ясность внес кибернетический реставратор. Художники стрит-арта Анна Клец, Андрей Колоколов и Максим Парфенов "распечатали" то, что получилось, на стене одного из жилых домов в Екатеринбурге при помощи особого принтера, созданного специально для этой цели. Вывод картинки занял несколько дней, и печать была завершена практически в тот момент, когда Крайнов и стрит-артеры выступали на конференции YaC 2018 в Москве с рассказом о том, чего им удалось достичь.
Исследователь отмечает: все это можно использовать не только для подобных развлекательных целей, но и для решения серьезных научных задач, в том числе восстановления картин, документов и прочих артефактов.
"В этой ситуации нужно ориентироваться не на одно изображение, а на какой-то их класс, на котором учится нейросеть. Пару месяцев назад наши коллеги из компании NVidia придумали методику восстановления "обрезанных" лиц на фотографиях с помощью сети, обучавшейся на базе фотографий знаменитостей", — продолжает Александр.
Так художник представил себе работу искусственного интеллекта на базе нейронной сети
Подобные системы искусственного интеллекта, отмечает он, помогут также понять, какой художник написал ту или иную картину, или вычислить подделку.
"Состязательные сети, достраивающие изображения, удивительно хорошо отличают оригиналы от подделок. Проверяющая часть, обычно играющая вспомогательную роль в обучении и работе, способна выявлять подделки и копии работ того или иного художника лучше, чем эксперты", — поясняет Крайнов.
Путь к сингулярности
Пока эти технологии — интересный, но сугубо научный эксперимент. Однако в будущем, когда вычислительные мощности заметно возрастут, они могут стать обыденностью, тем, что есть на каждом телефоне, компьютере или другом гаджете.
"Наши дети будут фотографировать или снимать видео, редактируя изображение прямо на телефоне, улучшая качество одним кликом, заменяя людей на снимках на знакомых или что-то другое при помощи нейросетей. При просмотре фильмов мы сможем заменять одних актеров на других — или на самого себя, сделав одно селфи. Скоро это будет доступно каждому", — рассказывает Александр.
Некоторые ученые считают, что дальнейшая эволюция нейросетей в конечном итоге приведет к тому, что они обретут способность самостоятельно творить и решать самые общие задачи, приблизившись по возможностям к человеку. Другие относятся к этому скептически — без человека и его оценки того, что делают нейросети, плоды их творчества нельзя считать чем-то, имеющим самостоятельную ценность.
Как полагает Крайнов, ответ на этот вопрос несколько сложнее, чем обе эти точки зрения. С одной стороны, нейронная сеть действительно может выступать в роли своеобразного "цензора", оценивающего работу другой системы искусственного интеллекта.
"С другой стороны, все нейронные сети обучаются на ограниченном наборе данных, и когда мы говорим об их творчестве, речь идет о подражательстве, а не о создании действительно чего-то нового. Конечно, они могут достичь впечатляющих успехов на этом поприще, но в стихах, картинах, кинолентах, созданных человеком, отражается все же его жизненный опыт, эмоции и переживания", — поясняет Крайнов.
У нейронных сетей нет никаких переживаний, жизни и прошлого. По сути, как выражается специалист "Яндекса", они представляют собой набор формул, который предназначен для решения лишь какой-то конкретной задачи, даже такой сложной, как копирование стиля известного художника или поэта.
"Когда мы говорим о произведениях искусства, наше восприятие прекрасного всегда формируется из двух частей — собственно работы самого художника и тех эмоций, которые у нас возникают. Поэтому я допускаю, что те вещи, которые создаст нейросеть, вызовут у нас эмоции и заставят нас их домыслить, сделать чем-то великим и ценным. Но это уже будет творчество зрителя, а не сети, которая просто послужит источником творческого импульса человека", — заключает Крайнов.