Как научить компьютер понимать эмоции?

Как научить компьютер понимать эмоции? Выпускник направления 09.03.01 Информатика и вычислительная техника ответил на этот вопрос.

Семён Фёдоров, студент группы 122-3 профиля «Анализ данных и искусственный интеллект», разработал программный продукт для распознавания семи базовых эмоций человека по видеопотоку с веб-камеры. Научный руководитель кандидат физико-математических наук, доцент кафедры ПОВТиАС Роман Анатольевич Козлитин.

Суть задачи — в реальном времени определить, какую эмоцию выражает лицо: счастье, грусть, гнев, страх, удивление, отвращение или нейтральное состояние ??????.

Система захватывает кадр с камеры, обрабатывает его через нейронную сеть и выдаёт результат, который можно сохранить и экспортировать для дальнейшего анализа.

Семён прошёл настоящий инженерный путь.

1) Сначала — кастомная сверточная нейросеть на Keras в Google Colab: 56% точности, но лимиты бесплатного GPU не позволяли нормально дообучать модель.

2) Затем — попытка перенести на TensorFlow с локальной RTX 4050: столкнулся с несовместимостью TensorFlow с GPU на Windows.

3) Третья итерация — уже на PyTorch: 58%, но модель «схлопывалась» в три класса, теряя различия между близкими эмоциями.

Итог — переход на архитектуру MobileNetV3Small (PyTorch), которая дала наибольшую точность на валидационной выборке и стала основой финального продукта.

Технологический стек : Python, PyTorch, OpenCV для работы с камерой, Tkinter для графического интерфейса, SQLite3 для хранения результатов, а также Matplotlib и Openpyxl для построения отчётов. Набор данных — FER-2013, один из стандартных бенчмарков в задачах распознавания эмоций.

В перспективе — распознавание нескольких лиц одновременно (для мониторинга эмоционального фона аудитории), расширение форматов экспорта (JSON, XML, API), а также внедрение шифрования и разграничения прав доступа для использования в корпоративной среде.

Системы анализа эмоций применяются в психологии, маркетинге, образовании, робототехнике и при создании интеллектуальных интерфейсов.

Вот такие интересные и актуальные задачи — от идеи до работающего продукта — решают студенты профиля «Анализ данных и искусственный интеллект» направления 09.03.01 Информатика и вычислительная техника.

Бакалаврская работа защищена на отлично!

Узнать больше о направлениях подготовки ИТИ можно здесь: postupi.iti-khsu.ru

Вопросы о поступлении на наши направления задавайте здесь ? Ресурсный центр, на все ответим.

Контакты приемной комиссии ХГУ им. Н. Ф. Катанова:

Сайт университета: khsu.ru/abitur/

Телефон приёмной комиссии: 8 (3902) 22-37-73; 8 (3902) 22-84-55

Адрес: г. Абакан, пр-кт Ленина, д. 90, каб. 102

Контакты ответственного за приём в Инженерно-технологический институт:

8 913 059 19 74 - Евгения Алексеевна.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: