Фотографии еды в Instagram долгое время остаются одним из ключевых трендов популярного сервиса. Но такие снимки демонстрируют лишь итоговый результат воплощения рецепта в жизнь и не всегда сопровождаются его подробным описанием. Специалисты Facebook анонсировали оригинальный алгоритм, способный разобрать любое блюдо на ингредиенты, просто «взглянув» на его изображение.
Особенностью ИИ-алгоритма Recipe1M стал генеративный подход при распознавании изображения. По заявлению разработчиков, нейросеть не только определяет видимые ингредиенты, сравнивая их с уже имеющейся базой данных, но и прогнозирует полный состав блюда, а также способ его приготовления на основе внешнего вида продуктов, подвергнутых разным видам обработки. Затем кодировщик ингредиентов и декодер команд генерируют заголовок для рецепта и выводят итоговый результат в виде инструкции по приготовлению на экран гаджета.
По сравнению с базовыми алгоритмами распознавания Recipe1M «предсказывает» неочевидные составляющие готовых продуктов — например, масло в составе круассанов. В перспективе разработчики планируют добавить к списку кулинарных умений нейросети и другие полезные опции — например, счётчик калорий. Кроме того, представленный вид обучения ИИ может использоваться для любой задачи, которая требует прогнозирования структурированного текста на основе анализа изображения.
Дата тестового запуска алгоритма для пользователей Instagram не объявлена.