Студент Стэнфорда встроил ChatGPT в умные очки

Студент факультета информатики и электротехники Стэнфорда Брайан Хау-Пинг Чанг смог встроить чат-бота ChatGPT на базе GPT-4 в умные очки благодаря аппаратному обеспечению Monocle AR с открытым исходным кодом и автоматическому распознаванию речи (ASR) Whisper от OpenAI. Он управляет устройством через смартфон.

Чанг назвал свою технологию rizzGPT («Rizz» на сленге означает «харизма»). Студент также использовал подключённые сервисы для транскрипции речи и оптического распознавания символов.

Чанг уже протестировал очки при прохождении собеседования, при случайной встрече с другом и при выборе лучших блюд в новом ресторане. 

В руководстве по rizzGPT, опубликованном в Twitter, Чанг описывает систему как начало «новой эры фоновых вычислений с поддержкой AR + AI, где у каждого есть свой личный помощник, доступный 24/7». Студент пошутил, что он предлагает людям «харизму как услугу в реальном времени (CaaS)». 

Чанг продемонстрировал работу rizzGPT. На видео он отвечает на ряд вопросов в ходе рабочего интервью, используя дискретный гаджет Monocle AR, прикрепленный к оправе очков. Встроенный дисплей посылает студенту автоподсказку прямо из ChatGPT. 

Когда Чанг встречает друга, rizzGPT распознаёт его личность. 

Владелец такого монокля может вызывать диалоги на основе сообщений из смартфона, которыми он обменивался ранее с конкретным человеком. Это может помочь во время встреч, чтобы задать нужные вопросы или вспомнить забытые подробности.

Также Monocle AR может давать рекомендации по меню в ресторане. Системы изучает меню, а потом даёт советы, основанные на том, что она знает о вкусовых предпочтениях владельца и о пищевой ценности продуктов. 

Студент выложил код своего проекта на GitHub.