Я тут сделал две умные голосовые колонки с использованием моделей искусственного интеллекта

Первая - на микроконтроллере ESP32, используя open-source проект XiaoZhi-esp32. Не требует оплаты за использование токенов, работает бесплатно.

Вторая - на Raspberry Pi, с локально запущенными моделями искусственного интеллекта (Gemma 3 для текста и Moondream для распознавания изображения со встроенной камеры), искусственный интеллект тут работает локально и даже без доступа в Интернет.

Подключена камера - можно колонку попросить описать, что она видит перед собой. :)

Gemma 3 и Moondream запущены на Ollama, для пробуждения используется OpenWakeWord, для распознавания речи - Whisper.cpp, для синтеза речи - Silero TTS.

Обе колонки подключены к серверу умного дома Home Assistant, благодаря чему с обеих колонок можно управлять голосом розетками, освещением и другими устройствами в своей квартире.

Как сделать эти колонки самому - я рассказал в статье на Хабре https://habr.com/ru/articles/1005272/

Мой репозиторий проекта: https://github.com/tzirulnicov/be-more-agent/

Источник: github.com

Комментарии: