MIT разрабатывает мозаичный алгоритм для поиска скрытых связей между искусством разных культур

Исследуя безграничную сокровищницу произведений искусства, документированных по всему миру, команда исследователей из Массачусетского технологического института разрабатывает алгоритм распознавания произведений искусства "мозаика" для поиска скрытых связей. работая с microsoft, группа из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) каталогизирует и исследует картины и скульптуры из Метрополитен-музея (The met) и амстердамского Государственного музея искусств. эта попытка была впервые вдохновлена выставкой Рейксмузеума " Рембрандт и Веласкес’, которая продемонстрировала неожиданные параллели между портретом Франсиско де зурбарана "Мученичество святого Серапиона" и "грозный лебедь" Яна Асселина-две работы, которые демонстрируют поразительное визуальное сходство.

все изображения любезно предоставлены MIT CSAIL'The dolly sisters,' european, фотографии (слева) | Untitled piece, китайский, драгоценный камень

Мозаика - это результат сотрудничества microsoft и лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL). Мозаика обнаруживает аналогичные произведения искусства-в том числе такие средства массовой информации, как живопись, скульптура, керамика, изделия из дерева, и происходящие из разных культур, регионов и периодов времени. работы спариваются с помощью глубоких сетей, чтобы алгоритмически понять, насколько "близки" два изображения. Аспирант CSAIL Марк Гамильтон, ведущий автор статьи о мозаике, комментирует первое спаривание: ‘эти два художника не имели переписки или встречались друг с другом в течение своей жизни, но их картины намекали на богатую, скрытую структуру, которая лежит в основе обоих их произведений.’

Франсиско де зурбаран " Мученичество святого Серапиона’ (слева) | Ян Асселин ‘Грозный лебедь’

при разработке алгоритма мозаики команда Массачусетского технологического института отмечает сложность этой работы, находя изображения, которые были похожи не только по цвету или стилю, но и по смыслу и теме. группа искала " собак, чтобы быть ближе к другим собакам, людей, чтобы быть ближе к другим людям, и так далее."для достижения этой цели они исследуют внутренние "активации" глубокой сети для каждого изображения в Объединенных коллекциях открытого доступа met и rijksmuseum. расстояние между "активациями" этой глубокой сети, которые обычно называют "особенностями", было тем, как они оценивали сходство изображений.

"супница с крышкой в виде индейки", немецкая, керамика (слева) | "Turkey palma", разн., камень

‘lachenalia aloides, 'various, рисунки (слева) |' ontwerp voor een kruisbeeld, ' roman, рисунки

'balearica regulorum,' various, рисунки (слева) | 'twee javaanse danseressen,' Юго-Восточная Азия, Без рубрики

"шлем (кхула кхуд) с рогами", южноазиатский, оружие (слева) / "королевский олень Колина" британский, фотографии

"большие рубиновые часы", немецкий, аксессуары (слева) | "дисковый орнамент", древнеамериканский, металлоконструкции

пример того, что делает мозаика, когда дается одно изображение (слева) и аналогичный объект, найденный через CIR

Алгоритм находит скрытые связи между картинами в метрополитене

Команда из Массачусетского технологического института помогла создать систему поиска изображений, чтобы найти наиболее близкие совпадения картин разных художников и культур.

Искусство часто возвещается как величайшее путешествие в прошлое, закрепляющее мгновение во времени и пространстве; прекрасный проводник, который позволяет нам на мгновение вырваться из настоящего.

При наличии огромного количества картин связи между этими произведениями искусства из разных периодов времени и пространства часто остаются незамеченными. Даже самые сведущие искусствоведы не в состоянии охватить миллионы картин за тысячи лет и найти неожиданные параллели в темах, мотивах и визуальных стилях.

Чтобы упростить этот процесс, группа исследователей из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Microsoft создала алгоритм для обнаружения скрытых связей между картинами в Музее искусств Метрополитен (The Met) и амстердамском Государственном музее.

Вдохновленная специальной выставкой "Рембрандт и Веласкес “в Государственном музее, новая система” мозаики “находит парные или” аналогичные “работы из разных культур, художников и средств массовой информации, используя глубокие сети, чтобы понять, насколько” близки" два изображения. В этой выставке исследователи вдохновлялись маловероятной, но похожей парой: Франсиско де Зурбаран “Мученичество святого Серапиона “ и Ян Асселин” Грозный Лебедь", две работы, которые изображают сцены глубокого альтруизма с жутким визуальным сходством.

“Эти два художника не имели переписки или встречались друг с другом в течение своей жизни, но их картины намекали на богатую, скрытую структуру, которая лежит в основе обоих их произведений”, - говорит аспирант CSAIL Марк Гамильтон, ведущий автор статьи о “мозаике.”

Чтобы найти две похожие картины, команда использовала новый алгоритм поиска изображений, чтобы найти наиболее близкое совпадение с конкретным художником или культурой. Например, в ответ на запрос о том, “какой музыкальный инструмент ближе всего к этой картине сине-белого платья”, алгоритм извлекает изображение сине-белой фарфоровой скрипки. Эти работы не только похожи по рисунку и форме, но и берут свои корни из более широкого культурного обмена фарфором между голландцами и китайцами.

"Системы поиска изображений позволяют пользователям находить изображения, семантически похожие на изображение запроса, служащие основой обратных поисковых систем изображений и многих систем рекомендаций продуктов”, - говорит Гамильтон. "Ограничение системы поиска изображений определенными подмножествами изображений может дать новое понимание взаимосвязей в визуальном мире. Мы стремимся поощрять новый уровень взаимодействия с творческими артефактами.”

Как это работает

Для многих искусство и наука непримиримы: одна основана на логике, рассуждениях и доказанных истинах, а другая мотивирована эмоциями, эстетикой и красотой. Но недавно искусственный интеллект и искусство вступили в новый флирт, который за последние 10 лет перерос в нечто более серьезное.

Большая часть этой работы, например, ранее была сосредоточена на создании нового искусства с использованием искусственного интеллекта. Там был проект Гогана, разработанный исследователями из Массачусетского технологического института, NVIDIA и Калифорнийского университета в Беркли; предыдущий проект Гамильтона и других GenStudio; и даже произведение искусства, созданное искусственным интеллектом, которое было продано на аукционе Sotheby's за 51 000 долларов.

Мозаика, однако, не стремится создавать новое искусство, а помогает исследовать существующее искусство. Один из подобных инструментов, Google “X степеней разделения", находит пути искусства, которые соединяют два произведения искусства, но мозаика отличается тем, что она требует только одного изображения. Вместо того чтобы искать пути, он обнаруживает связи в любой культуре или средствах массовой информации, которые интересуют пользователя, например, находит общую художественную форму “Anthropoides paradisea” и “Seth Slaying A Serpent, Temple of Amun at Hibis".” 

Гамильтон отмечает, что построение их алгоритма было сложным делом, потому что они хотели найти изображения, похожие не только по цвету или стилю, но и по смыслу и теме. Другими словами, они хотели бы, чтобы собаки были рядом с другими собаками, люди-рядом с другими людьми и так далее. Чтобы достичь этого, они исследуют внутренние "активации" глубокой сети для каждого изображения в Объединенных коллекциях открытого доступа Met и Rijksmuseum. Расстояние между” активациями “этой глубокой сети, которые обычно называют” особенностями", было тем, как они оценивали сходство изображений.

Чтобы найти аналогичные изображения между различными культурами, команда использовала новую структуру данных поиска изображений, называемую "условным деревом KNN", которое группирует похожие изображения вместе в древовидную структуру. Чтобы найти близкое совпадение, они начинают с "ствола" дерева и следуют за наиболее перспективной "веткой", пока не будут уверены, что нашли наиболее близкое изображение. Структура данных улучшается по сравнению со своими предшественниками, позволяя дереву быстро "обрезать" себя до определенной культуры, художника или коллекции, быстро давая ответы на новые типы запросов.

Гамильтон и его коллеги нашли удивительным то, что этот подход также может быть применен для поиска проблем с существующими глубокими сетями, связанными с всплеском “глубоких фейков”, которые недавно появились. Они применили эту структуру данных, чтобы найти области, где вероятностные модели, такие как генеративные состязательные сети (GANs), которые часто используются для создания глубоких фейков, ломаются. Они назвали эти проблемные области "слепыми зонами" и отмечают, что они дают нам представление о том, как GANs могут быть предвзятыми. Такие слепые пятна далее показывают, что Gan изо всех сил пытаются представить определенные области набора данных, даже если большинство их подделок может обмануть человека.

Тестовая Мозаика

Команда оценивала скорость мозаики и то, насколько она согласуется с нашей человеческой интуицией в отношении визуальных аналогий.

Для тестов скорости они хотели убедиться, что их структура данных обеспечивает ценность по сравнению с простым поиском по коллекции с помощью быстрого поиска грубой силы.

Чтобы понять, насколько хорошо система согласуется с человеческой интуицией, они создали и выпустили два новых набора данных для оценки систем условного поиска изображений. Один набор данных бросил вызов алгоритмам поиска изображений с одинаковым содержанием даже после того, как они были “стилизованы” с помощью метода передачи нейронного стиля. Второй набор данных бросил вызов алгоритмам восстановления английских букв в разных шрифтах. Чуть менее чем за две трети времени мозаика смогла восстановить правильное изображение в одном предположении из “стога сена " из 5000 изображений.

"Продвигаясь вперед, мы надеемся, что эта работа вдохновит других людей задуматься о том, как инструменты поиска информации могут помочь другим областям, таким как искусство, гуманитарные науки, Социальные науки и медицина”, - говорит Гамильтон. "Эти области богаты информацией, которая никогда не обрабатывалась с помощью этих методов, и могут быть источником большого вдохновения как для компьютерных ученых, так и для экспертов в области предметной области. Эта работа может быть расширена с точки зрения новых наборов данных, новых типов запросов и новых способов понимания связей между работами.”

Гамильтон написал статью о мозаике вместе с профессором Биллом Фрименом и студентами Массачусетского технологического института Стефани фу и Миндрен Лу. Сайт MosAIc был создан MIT, Fu, Lu, Zhenbang Chen, Felix Tran, Darius Bopp, Margaret Wang, Marina Rogers и Johnny Bui в рамках программы Microsoft Garage winter externship program.

Источник: www.designboom.com

Комментарии: