Инженер создал очки для управления умным домом с помощью изоленты и одноплатного компьютера

Разработчик собрал умные очки, которые позволяют взмахом руки включить лампу или музыку на колонке. Они понимают, на какой именно предмет, подключенный к системе умного дома, показывает пользователь.

Итак, записывайте рецепт: инженер взял обычные солнцезащитные очки, на дужке закрепил с помощью скотча камеру для одноплатного компьютера Raspberry Pi, которая через провод подключается к плате NVIDIA Jetson Nano. Плату парень засуну в картонную коробку и повесил на грудь.

В работе используются две сверточные нейросети: одна распознает объекты в кадре, другая — жесты руки. Если алгоритмы находят совпадение по знакомой лампе и жесту, они посылают команду на устройство через Wi-Fi.

Инженер сам собрал датасет из 10 тыс. фотографий для обучения алгоритмов. Пока умные очки распознают только взмах руки, однако изобретатель выложил код на GitHub — теперь любой желающий может дообучить модель на собственных жестах.

Код на GitHub: https://github.com/nickbild/shaide

Источник: github.com

Комментарии: