В Facebook появился текстовый поиск картинок «по смыслу»

В социальной сети Facebook появился текстовый поиск по картинкам, который реализован с помощью технологий глубокого машинного обучения.

Благодаря поиску картинок по текстовому описанию пользователи могут находить нужные изображения среди больших массивов картинок. Подобными возможностями, например, обладают некоторые интернет-поисковики, в том числе Google и Яндекс, также интеллектуальный поиск картинкам есть у сервиса Pinterest. Поскольку пользователи социальных сетей зачастую загружают большое количество фотографий, поиск по ним с помощью текстового описания может быть удобным инструментом.

Технология поиска картинок «по смыслу» в Facebook получила название Lumos. Раньше функция поиска изображений по текстовому описанию была экспериментальной и позиционировалась как вспомогательный инструмент для слепых и слабовидящих, однако теперь Lumos стал доступен и другим пользователям соцсети. На данный момент сервис работает только на английском языке и доступен пользователям в США, о запуске в других странах ничего не сообщается.

Сервис Lumos создан на основе платформы машинного обучения FBLearner Flow и для обучения нейросети были использованы «десятки миллионов» фотографий. Поиск по картинкам работает как в мобильном приложении, так и в браузерной версии соцсети, причем Lumos следит за тем, чтобы в выдаче не было почти одинаковых фотографий. В будущем разработчики планируют добавить аналогичную функцию поиска по видеозаписям.

Facebook ведет разработки и исследования в самых разных сферах, и кроме самой социальной сети компания занимается, например, разработками в области виртуальной реальности, беспилотниками, и даже изучением наследования профессий.