Нейросеть научили распознавать русский язык жестов по видео |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2021-11-22 19:32 Российские учёные обучили нейросеть,создали программу, распознающую 90% русского языка жестов.Это первая в МИРЕ подобная программа Исследователи Санкт-Петербургского Федерального исследовательского центра Российской академии наук (СПб ФИЦ РАН) научили нейросеть распознавать несколько десятков слов русского жестового языка на основе анализа видео. Разработка будет способствовать повышению качества жизни людей с ограниченными возможностями и позволит глухим людям удобно взаимодействовать с различными видами техники. Сегодня в мире насчитывается несколько сотен миллионов человек, которые страдают проблемами со слухом, и это количество ежегодно увеличивается. Для общения эти люди используют специальный язык жестов, который различается в зависимости от стран и диалектов. Этот фактор усложняет такой большой социальной группе возможность использования цифровых помощников, управляемых голосом, на смартфонах, компьютерах и других системах, которые сейчас активно внедряются в различные сферы жизни. Однако машинный перевод с жестовых языков сегодня сопряжен с большими сложностями по сравнению с обработкой звучащих языков благодаря дополнительной задаче распознавания динамических жестов. В числе причин, которые сдерживают развитие этого направления, такие проблемы компьютерного зрения, как различия в фоновом освещении, необходимость привлечения больших вычислительных ресурсов, недостаточный объем наборов данных. «Мы разработали систему, которая способна с помощью нейросети распознавать более 50 жестов русского жестового языка. Эта работа направлена на то, чтобы люди с нарушением или потерей слуха могли наладить взаимодействие с компьютерами, цифровыми помощниками наравне со всеми остальными пользователями», — рассказывает Дмитрий Рюмин, старший научный сотрудник Санкт-Петербургского института информатики и автоматизации РАН (СПИИРАН — входит в СПб ФИЦ РАН). Нейросеть для обучения использует жесты глухих людей, которые фиксировались на видеозаписи. На основе этих данных создавались трехмерные модели, на которых система с помощью алгоритмов глубокого машинного обучения училась распознавать определенные жесты. В качестве респондентов в исследовании участвовали студенты и преподаватели Межрегионального центра реабилитации лиц с проблемами слуха города Павловска. Всего в учреждении для исследования было отснято более 3 тыс. видеозаписей. «Мы испытали нейросеть в лабораторных условиях. Для этого был создан прототип специальной роботизированной тележки для супермаркетов, на которой разместились камера и портативный компьютер с программным обеспечением для распознавания жестов. Глухой человек на языке жестов объяснял, зачем он пришел в магазин, а тележка вела его к месту, где лежит нужный покупателю товар. На выборке жестов, которую мы использовали для обучения, точность распознавания составила более 90%", — поясняет Дмитрий Рюмин. Проект реализован в 2018-2020 гг. в ходе Федеральной целевой программы совместно с учеными из Чехии. Сейчас ученые СПб ФИЦ РАН выиграли грант Российского научного фонда для продолжения исследований по данной тематике. В течение 2021-2023 года планируется значительно увеличить объем данных для повышения точности распознавания русского жестового языка. Источник: nauka-tass-ru.turbopages.org Комментарии: |
|