Новая игра с фотографиями и приметы, по которым нейросеть узнаёт разные страны

Мы сделали игру для путешественников и эрудитов — в ней нужно угадывать страны по фотографиям, загруженным пользователями на Яндекс.Карты. Если у вас дежавю, то это потому, что весной мы делали похожую игру, только про российские города. Наши коллеги, уже успевшие поиграть в новую версию, говорят, что она получилась проще и интереснее. Отличить Италию от Исландии всё-таки легче, чем Курск от Воронежа.

Как и в игре про города, в угадывании стран с вами будет состязаться Алиса. Посоревноваться с людьми, кстати, тоже можно: на последнем экране есть кнопка «Бросить вызов друзьям». 

В прошлый раз мы уже рассказывали, как Алиса узнаёт города. Со странами всё работает точно так же. Если вкратце, мы взяли фотографии с Яндекс.Карт и разделили их на две группы. Фото из первой группы показали нейросети, сообщая, где был сделан каждый снимок. Просмотрев тысячи фотографий, нейросеть составила представление о каждой из стран — то есть самостоятельно выделила комбинации признаков, по которым можно узнать страну. Вторую группу снимков мы используем в игре, их Алиса не видела и в процессе игры не запоминает.

Про людей более или менее понятно, как они угадывают: узнают места, которые видели в путешествиях или в кино, полагаются на общую эрудицию и здравый смысл. У нейросети ничего этого нет. Нам стало интересно увидеть, какие детали на фотографиях подсказывают ей ответ. Чтобы найти их, мы выделили самые информативные для нейросети области снимков. Для этого мы разрезали фото на мелкие квадратики и повторили процесс обучения — теперь уже на этих фрагментах. Потом нейросети показали кусочки фотографий, которые она не видела. В большинстве случаев она промахивалась, но некоторые фрагменты с уверенностью опознавала. Так что теперь мы знаем, в каких частях кадра содержится информация, которая имеет определяющее значение для нейросети, и можем посмотреть, что на них попало. Например, Нидерланды она узнаёт по сочетанию тёмных кирпичных стен и белых контуров окон. Иран — по характерным аркам и орнаментам на фасадах.

Алиса играет очень хорошо, но у вас есть преимущество: мы не обучали нейросеть распознавать номера машин, тексты вывесок и указателей, флаги государств. И, само собой, чтобы всё было честно, запретили Алисе подглядывать в базу Яндекс.Картинок и искать там похожие снимки.

Начать игру.

Источник: yandex.ru

Комментарии: