Нейросеть научили делать «профессиональные фотографии» из пейзажей Google Street View

Разработчики Google создали Creatism — нейросеть, умеющую создавать из снимков Google Street View эстетичные фотографии пейзажей, которые настоящие фотографы посчитали работами профессионалов. Статья доступна для прочтения на сайте arXiv, а с работами «фотографа» можно ознакомиться в галерее.

Современные технологии позволяют делать снимки отличного качества с помощью камеры смартфона и сопутствующих приложений для обработки. Однако, настоящее качество фотоснимка определяется его эстетикой, которая заключается в правильной композиции и хорошо подобранном освещении — параметрах, определение которых автоматически является сложной задачей. Исследования по визуальному анализу эстетики фотографий с целью выявления ее объективных характеристик проводились ранее, однако автоматическое создание снимков с учетом всех аспектов красоты композиции и технических параметров все еще является нерешенной задачей.

Авторы новой работы представили Creatism — нейросеть, которая умеет делать профессиональные в плане эстетики фотографии пейзажей. Эта система была создана при помощи методов глубокого обучения и обучена каждому отдельному параметру эстетики (насыщенности цвета, композиции, четкости и освещению) на примере работ профессиональных фотографов. Обученная нейросеть обрезает панорамные фотографии Google Street View и настраивает параметры обработки фотографий в приложении Snapseed.

Авторы также представили новый параметр автоматической настройки эффектного света снимка («dramatic mask»), который решает проблему недостатков естественного освещения местности. Этот параметр работает благодаря обучению на негативах (распределению яркостей фотоснимка) снимков пейзажей, сделанных профессиональными фотографами.

Во время генерирования каждой фотографии из полученной выборки был присвоен автоматический «прогнозированный» балл по шкале эстетики от 1 (уровень «начинающего фотографа») до 4 (уровень «профессионального фотографа»). 

На полученных фотографиях исследователи провели вариацию «теста Тьюринга»: снимок считался сделанным на профессиональном уровне, если профессиональные фотографы не могли отличить его от работ реальных людей. Для эксперимента с оценкой реальных фотографов исследователи взяли 400 фотографий, получивших балл от 2,5 до 3 и показали их в случайном порядке вместе с фотографиями, сделанными реальными людьми. Тест показал, что реальными работами профессиональных фотографов среди 173 фотографий с наивысшим «прогнозируемым» рейтингом (2,9 и более) 41,4 процента получили оценку 3 (снимок уровня «полупрофессионального фотографа»).

Creatism — не первая разработка, которая научила искусственный интеллект креативить. Недавно мы писали о нейросети, которая умеет создавать оригинальные произведения искусства.

Елизавета Ивтушок