В MIT создали приложение для подсчета калорий с распознаванием речи

СOCO Nutritionist — новое приложение для подсчета калорий на английском языке, которое оснащено алгоритмами распознавания речи. Добавить съеденные продукты теперь очень просто — достаточно сказать: «На завтрак я съел миску хлопьев с бананом и стаканом молока». Приложение обновит информацию о рационе, посчитает калории и микроэлементы.

Разработкой COCO занимались ученые из MIT. Основная цель — создать приложение для ввода продуктов с помощью обычной разговорной речи, чтобы регистрировать приемы пищи быстро и удобно. Современные приложения довольно медленные и сложные — люди тратят много времени, чтобы записать наименование каждого продукта и количество съеденного.

Как работает приложение

Данные отображаются вместе с изображениями соответствующих продуктов. Продукты можно добавлять с помощью голоса или сканируя штрихкод на упаковке. Приложение позволяет корректировать информацию, выбирать процент жирности и количество продуктов. Это можно сделать даже устно, например, после фразы о хлопьях уточнить: «У меня была половинка банана». Алгоритм обновит информацию, пересчитав продукты и калории.

В приложении работают алгоритмы, специально предназначенные для обработки речи продуктовой тематики. Программа анализирует голосовые описания и извлекает необходимые данные о продуктах, сравнивая их с базой продуктов USDA, которую ведет Министерство сельского хозяйства США.

Разработка алгоритмов

Сложность разработки состояла в согласовании голосовых описаний еды, которые делает пользователь, с теми, которые использует USDA. Человек может говорить «овсянка», в то время как в базе продукт указан как «овес».

Вторая проблема заключалась в обучении алгоритмов распознавания различать функциональную роль слов. В случае словосочетания «миска овсянки», «миска» — обозначает количество, а «овсянка»- продукт. Но фраза «овсяное печенье» подразумевает, что продукт — это «печенье», а «овсяное» — это модификатор. (В английском примере это звучит как «bowl of oatmeal» и «oatmeal cookie» — проблема в том, что слово одно и то же).

Первая проблема была решена с помощью открытой базы данных Freebase, в которой содержатся записи о более чем 8000 общих продуктов питания, многие из которых включают синонимы.

Для решения второй проблемы исследователи собрали набор из 10 000 наименований продуктов. Они использовали краудсорсинговую платформу Amazon Mechanical Turk. Люди описывали свой последний прием пищи, а затем размечали слова как наименования продуктов, количество, торговые марки и модификаторы. С полученной базой данных ученые обучили алгоритмы находить закономерности в синтаксических отношениях между словами, которые могли бы идентифицировать их функциональные роли.

Приложение пока работает в предварительной версии. Оно доступно только для IOS. После скачивания нужно согласиться на обработку персональных данных — все голосовые сообщения, отправленные в приложение, ученые будут использовать для дальнейшего улучшения приложения, проведения исследований и выступлений на конференциях. Скачать приложение можно здесь.