JeVois: Open-Source четырехядерная платформа для компьютерного зрения

Я увлекаюсь роботами, постоянно мониторю интернет в поисках интересных решений. Случайно нашел очень интересный проект, спешу поделиться информацией с Вами. Краудфандинговый проект JeVois это Opensource платформа машинного зрения: видео датчик и четырехъядерный процессор в крохотном корпусе 28 куб. см. Доставка намечена на февраль 2017. Данный модуль способен передавать данные по USB или последовательному порту. По заявлению авторов проекта все должно работать из коробки. Все что требуется это вставить карту памяти microSD с Вашей программой (заявлена поддержка opencv 3.1 и многих других алгоритмов) и подключить к компьютеру или микроконтроллеру.

JeVois начал развиваться как учебный проект, так как авторы поняли острую необходимость в подобном модуле искусственного зрения при проектировании в робототехнике. На текущий момент отсутствуют специализированные решения, способные работать с raspberry pi или arduino из коробки.

JeVois призван восполнить этот пробел, предоставляя самодостаточный модуль компьютерного зрения, который может обеспечить как передачу видео, так и передачу результата работы алгоритма компьютерного зрения через последовательный порт.

JeVois работает следующим образом: видео захватывается с камеры, обрабатывается на лету через алгоритм машинного зрения на собственном процессоре, а результаты передаются по USB к компьютеру и/или через последовательный к микроконтроллеру.

На компьютере JeVois обнаруживается как USB-камера. Смарт камера JeVois – это Opensource проект, это подразумевает самые широкие возможности персонализации и модификации под свои нужды. Авторами проекта заявлены три стандартных режима работы:

1. Передача через USB видео с передачей через последовательный порт результата анализа видео(например, координаты и содержание любого QR-кода, который был идентифицирован).
2. Передача текстовой информации без видео.
3. Передача видео с пометкой наиболее интересных областей для дальнейшего анализа на более мощном ПК, например, с использованием нейронных сетей.

Технические Характеристики

Смарт-камера — это полноценный компьютер с Linux на борту. Он может работать сам по себе, без подключения к ПК или микроконтроллеру. Благодаря вентилятору охлаждения, он может работать при полной нагрузке без перегрева, сохраняя постоянную скорость процессора 1.34 ГГц.

Программное обеспечение

В приведенном в видео примере, скорость обработки алгоритма является 73 fps на процессоре смарт-камеры, то есть требуется 13.68 мс для обработки одного видеокадра. Также отметим, что процессор не полностью загружен по этому алгоритму (148.7% нагрузки, при этом 400% соответствует полной загрузки всех 4 ядер процессора). Следовательно, дополнительные алгоритмы также могут работать параллельно с анализом видео.


Примеры распознания маркера дополненной реальности (ArUco), обнаружения и распознавания объектов, обнаружения дороги для автономного вождения.


Отслеживание 120гц глаза (потоков камеры в 120 кадров в секунду, обработка выполняется при 200+ фпс)

К апрелю разработчики обещают создать сообщество и доработать программное обеспечение, которое обеспечит расширенный функционал.

Сравнение модели Raspberry Pi3

Проект JeVois отчасти стал возможным благодаря научно-исследовательским грантам от Национального научного Фонда и агентства DARPA.

Очень надеюсь на удачное развитие данной платформы, это поможет сделать качественный скачок в DIY-проектах.

Даешь SLAM для роботов!