Победитель минского AI Hackathon запускает нейронные сети в реальном времени на любой платформе

Гурский: «Самый сильный хакатон из всех, на которых я был»

Большинство выбранных командами задач были связаны с распознаванием изображений. Неудивительно: в этой области искусственного интеллекта (ИИ) вполне чётко определены стандарты, доступны готовые наборы данных, разработаны бесплатные инструменты, за счёт которых разработку прототипа можно «уложить» в 48 часов.

Другие темы проектов — обработка естественных языков, обработка и генерация аудио.

В жюри вошло около 20 представителей белорусской ИТ-индустрии, среди которых партнёры фонда Haxus Александр Чекан и Дмитрий Гурский, сооснователь EPAM Леонид Лознер, CEO Belka Technologies Юрий Мазаник, COO Masquerade Андрей Янчуревич, CEO Splitmetrics Макс Каменков, CEO VibroBox Игорь Давыдов, специалисты по данным, нейронным сетям и машинному обучению.

Каждый член жюри оценил проекты по трём критериям: прототип и его презентация, перспективность идеи, объём работ, выполненных за хакатон. По каждому из трёх направлений выставлялось от 1 до 3 баллов, сумма которых и стала результатом.

По словам Дмитрия Гурского, тройка победителей определилась однозначно, хотя несколько последующих позиций отстали от призёров всего на несколько баллов — при максимуме более 150.

Из 45 команд, собранных на старте хакатона, во второй день продолжили работу 35, до уровня прототипа дошло около 30. В полуфинале 19 из них были отобраны для завершающих питчей и борьбы за призы. Дмитрий Гурский отметил, что основной целью отсева было сокращение времени на финал:

— Общий уровень проектов очень сильный, он значительно превзошёл наши ожидания. Это самый сильный хакатон из всех, на которых я был, — и по составу, и по результату. Уверен, каждый проект, который прошёл в топ-10, достойно смотрелся бы на крупнейших хакатонах в любых технологических центрах. Многие разработки можно превращать в коммерческие, со многими командами Haxus хотел бы продолжить общение после мероприятия.

Третье место: энергетическая ценность обеда по его фотографии

Тройку призёров замкнула объединённая команда RocketBody и A(3)Ri, собравшаяся на самом хакатоне. Созданный командой прототип определяет калорийность еды по её фотографии. За хакатон команда успела создать две модели искусственного интеллекта: первая умеет распознавать на фотографиях блюда, вторая — разбирать, сколько и каких ингредиентов содержится на сфотографированной тарелке. При этом модель не просто способна отличить мясо от овощей — она пытается определить степень прожарки, жирность еды.

Команда планирует использовать готовые модели в мобильном приложении. Пользователь сможет внести в него собственные антропометрические данные, на основе которых приложение подсчитает для него личную дневную норму потребления калорий. Последовательно снимая свою еду на протяжении дня и загружая фотографии в приложение, пользователь сможет видеть, какой «кредит калорий» остался у него до конца дня.

Команда подчёркивает, что не ставит цели делать точный расчёт с минимальными погрешностями:

«Ошибиться на 100 килокалорий — не проблема. Наша задача — предугадать значительный перерасход, на 500-800 килокалорий, и подсказать пользователю: «Знаешь, сегодня в McDonalds лучше не идти — поужинай дома салатом и чаем».

Следующая модель, которая нужна для реализации этого функционала — привязка порций на фото к маркерам. Это позволит рассчитывать размеры блюда, а используя доступные таблицы плотности — и его массу.

Дмитрий Гурский особо отметил коммерческий потенциал проекта: «Судя по тому, какие экзиты происходили в этой области в последние два года, это может быть проект на сотни миллионов».

Второе место: «карта сорняков» для экономии в сотни тысяч

В шаге от победы осталась команда уже известного читателям dev.by агростартапа OneSoil, которую на хакатоне усилил тимлид Juno Арсений Кравченко. Используя набор данных, собранный за три года полётов на дронах над сельскохозяйственными угодьями, разработчики создали механизм распознавания сорняков на капустных и рапсовых полях. Используя этот механизм, команда может создавать карту внесения химикатов на поля.

Как правило, в сельском хозяйстве гербицидами заливается всё поле. По информации OneSoil, стоимость обработки рапсового поля площадью 100 гектаров — около $11 тысяч. Современная техника, однако, может включать форсунки распыления точечно, над определёнными рядами. Команда подсчитала общую площадь сорняков на снимках из датасета — оказалось, при использовании «карты сорняков» хозяйство может экономить до 75% химикатов.

В качестве теоретической основы механизма распознавания OneSoil использовали модель, описанную в статье End-to-end People Detection in Crowded Scenes. Эта модель позволяет отмечать головы на фотографиях с большим количеством людей. Используя подобную топологию, команда смогла достигнуть высокого F1 score: 0,9 для капустных полей и более 0,8 для рапсовых. Нейронная сеть научилась находить даже те сорняки, которые сами разработчики не обнаружили на фото во время разметки датасета.

Кроме призов за второе место, команда OneSoil получила подарок от юридической компании «Алейников и партнёры»: книгу Нассима Талеба «Антихрупкость» и 50-процентную скидку на услугу «упаковки» стартапа для венчурного инвестора — полное оформление необходимой по белорусскому законодательству документации для освоения венчурных вложений.

Победитель: нейронные сети в реальном времени на любой платформе

Если большинство команд сосредоточились в работе над прикладными задачами, то победитель хакатона представил жюри технологическое решение. Проект mInference позволяет проигрывать нейронные сети на различных платформах с минимальными временными задержками. В качестве прототипа команда представила веб-приложение, классифицирующее объекты на изображении с веб-камеры без подключения к серверу. Время отзыва нейронной сети по сравнению с популярным фреймворком Caffe уменьшилось в несколько раз: с 12 секунд до 2.

Команда mInference состояла всего из двух человек: технического специалиста Марата Духана и Анастасии Крымской, которая занималась проработкой возможной монетизации и созданием презентации для демо-проекта. В качестве основы для проекта Марат использовал собственную библиотеку NNPACK, написанную им во время учёбы по программе Ph.D. в Технологическом институте Джорджии. Высокая скорость работы нейронной сети в прототипе — заслуга NNPACK.

Марат начал заниматься проектом mInference за два дня до хакатона — к мероприятию он написал на Python набор модулей для конвертации модели из формата Caffe во внутренние классы. На протяжении конкурсных 48 часов Духан реализовал сохранение модели в собственном бинарном формате, а также написал на языке C код для чтения этого формата и проигрывания слоёв нейронной сети.

Модуль нейросети работает в браузере через технологию Portable Native Client: исходный код компилируется в байткод наподобие LLVM, а затем браузер транслирует этот байткод в реальные машинные инструкции. mInference активно использует высокую производительность Portable Native Client: в демо-приложении применены многопоточность и SIMD-инструкции. Пока технология поддерживается только в Google Chrome, зато она не требует установки плагинов — пользователю достаточно открыть веб-страницу в браузере.

mInference также можно перенести на другие платформы за счёт простой перекомпиляции. Ограничивающий фактор — поддержка платформы библиотекой NNPACK. Сейчас у автора проекта готовы версии библиотеки под Linux, Mac, Portable Native Client и Android. В качестве следующего шага в развитии проекта Духан планирует запуск веб-сайта с демонстрацией технологии. Впоследствии нейросети можно будет запускать и на устройствах IoT.

Перспективы: AI-кластер и проекты-миллионеры

Главный денежный приз хакатона учредил фонд Haxus: победитель получил чек на $2500, второе место — $1500, третье — $1000. Компания servers.com добавила к этим вознаграждениям сертификаты на хостинг: для первого места — на сумму $2000, для двух призёров — на $1200 и $700.

Представители Haxus пообещали, что AI Hackathon — не последнее их мероприятие в теме искусственного интеллекта. По словам Дмитрия Гурского, задача фонда — создать кластер по задачам ИИ, который мог бы выпустить не менее 10-15 проектов уровня AIMatter и Flo. Гурский отметил, что Haxus готов создавать команды с нуля и давать им собственные задачи: «С условием, что к нам придут исключительные люди».

В качестве дополнительной мотивации для стартапов партнёр фонда привёл статистику заработков в предыдущих проектах: «В практике фонда — оставлять значительные доли в собственности стартапов и предоставлять на команду большие пакеты опционов. Уже 17 человек, работавших с нами, стали миллионерами, ещё несколько десятков — купили квартиры на компенсации опционов по нашим экзитам. Если у вас есть хорошая идея или вы уверены в себе как в исключительном специалисте — мы ждём вашего письма».

Фото: Андрей Давыдчик