Google разработала алгоритм «улучшения» изображений по нескольким пикселям

Команда исследовательского проекта Google Brain разработала алгоритм, способный воссоздать изображение, генерируя его на основе разных пикселей. Об этом пишет Ars Technica.

Алгоритм работает на основе двух нейросетей, обученных на одинаковых наборах данных. В ходе исследования специалисты Google Brain использовали пикселизованные изображения низкого разрешения для создания нового изображения, схожего с оригинальным.

Для «обучения» нейросетей в Google Brain использовали изображения из библиотек CelebA (двести тысяч фотографий лиц знаменитостей ) и LSUN Bedrooms (два миллиона фотографий спален). Специалисты использовали копии картинок, уменьшенные до 32?32 пикселей (высокое разрешение) и 8?8 пикселей (низкое разрешение).

Сначала специалисты использовали нейросеть условий condition network, которая сравнивает изображение низкого разрешение с уже известными изображениями высокого разрешения. После свёрточная нейросеть (prior network) генерирует детали картинки, анализируя необходимость создания определённых черт. Например, нейросеть «понимает» что коричневые пиксели с исходной картинке на изображении высокого качества необходимо превратить в волосы.

Используя 64-цветные пиксели, система способна сгенерировать изображение разрешением 32?32, близкое к исходному снимку, утверждают в Google Brain.

В левой колонке исходное изображение разрешением 8?8 пикселей, посередине сгенерированная системой картинка, справа — реальная фотография, уменьшенная до 32?32 пикселей.

Для проверки результатов Google провела опрос среди добровольцев, попросив их указать, какое из изображений в паре — реальное. В результате в 10% случаев люди приняли сгенерированные картинки за настоящие фотографии знаменитостей. В случае с фотографиями спален этот показатель составил 28%.

О планах по использованию алгоритма в действующих сервисах в Google Brain не сообщили.