Перспективные задачи «виртуальной реальности»

В настоящее время наблюдается бурное развитие технологий виртуальной реальности. Связано это с возможностями, которые предоставляет технология виртуальной реальности в медицине, военном деле, в авиационной и космической отраслях, в сфере услуг и развлечений. Неслучайно этот сегмент отрасли входит в стратегию развития отрасли информационных технологий в Российской Федерации до 2030 года.

Год назад в Новосибирском государственном университете совместно с Высшим колледжем информатики (ВКИ НГУ) было создано новое подразделение: "Лаборатория виртуальной и дополненной реальности НГУ". О работе лаборатории и её перспективных направлениях расскажет руководитель, к.ф.-м.н. Козулин Игорь Анатольевич.

– Игорь Анатольевич, расскажите, как и почему в университете появилась лаборатория виртуальной и дополненной реальности?

– Примерно 5 лет назад мною были приобретены очки виртуальной реальности Oculus Rift DK1, тогда же мы со студентами Высшего колледжа информатики начали их тестировать. Студенты очень заинтересовались новой технологией, мы уже тогда попробовали разработать собственное VR окружение. В 2020 году движение WorldSkills* очень сильно способствовало развитию данной компетенции в Высшем колледже информатики, в частности, в 2020 году, на финале VIII Национального чемпионата «Молодые профессионалы» WorldSkills Russia наша команда (Никита Мозалев и Алексей Дисский) по компетенции «Разработка виртуальной и дополненной реальности» стали бронзовыми победителями. Можно отметить, что финал WorldSkills 2020 года стал самым масштабным не только в России за все восемь лет, но и во всем мире: на соревнованиях выступило более 2800 человек со всей страны, а также иностранные конкурсанты. В 2021 году была организована лаборатория виртуальной и дополненной реальности НГУ в Новосибирском государственном университете совместно с Высшим колледжем информатики (ВКИ НГУ)", директор Высшего колледжа информатики Окунев Алексей Григорьевич активно помогал и способствовал развитию данной лаборатории. Таким образом, у нас появилась возможность развивать данную технологию и активно сотрудничать с другими лабораториями и внешними партнерами.

– Чем занимаются в Вашей лаборатории?

– Мы ведем работу по разным направлениям. Одним из наиболее перспективных и интересных направлений является изучение взаимодействия VR/AR окружения и машинного обучения, в том числе генерирования синтетических баз данных. Также мы занимаемся разработкой VR/AR окружения, в том числе виртуальных экскурсий. Есть проекты, связанные с образовательными программами, например, моделирование физических экспериментов в виртуальном пространстве, что может служить хорошей методической поддержкой при организации учебного процесса.

– Вы упомянули машинное обучение. Чем же виртуальная реальность может быть полезна для нейросетей?

Направление "Разработка VR/AR окружения для получения синтетических баз данных и их применения для машинного обучения" является ключевым на сегодняшний день в IT сфере, так как включает в себя не только построение VR/AR окружения, но и позволяет получить автоматическую разметку всех объектов, которые располагаются на разработанной VR/AR сцене. Для этого в разработанную VR/AR сцену добавляется виртуальная камера, которая может перемещаться и делать многократные 2D снимки объектов, которые располагаются на 3D сцене. Полученные изображения формируют синтетический датасет с 2D изображениями и дополнительными файлами, в которых указана информация об объектах на сцене, в частности меру удаленности объектов от виртуальной камеры, координаты положения объектов относительно камеры, высоту, ширину и длину объектов которые попали на 2D изображение.

– Какие-то результаты у этой работы уже есть?

– У нас создан некоторый задел по программному обеспечению для создания искусственных датасетов. Мы убедились, что разметка объектов осуществляется в VR/AR окружении, и мы можем ее использовать для обучения нейронных сетей.

– То есть, в результате будет какой-то программный продукт, с помощью которого пользователь сможет самостоятельно обучать свою нейросеть?

– Да, всё верно.

– Кто является потенциальным пользователем Вашего продукта?

– Данные синтетические данные могут быть использованы любой IT компанией, которая занимается машинным обучением, например, полученные данные могут быть использованы для повышения точности движения беспилотного транспорта, а также позволят повысить точность распознавания объектов робототехническими системами. Необходимо отметить, что сбор и разметка реальных данных для машинного обучения является достаточно трудоемкой, часто реальные данные могут содержать до сотни тысяч изображений. Разметка изображений, которое может стоить 10 долларов, может быть искусственно создано за 0.1 цент. Экономия затрат – это только начало. Синтетические данные играют ключевую роль в решении вопросов конфиденциальности и уменьшении предвзятости, поскольку они обеспечивают разнообразие данных для представления реального мира.

– Кто-то уже проявлял интерес из числа таких потенциальных партнеров?

– Нашей лабораторией интересуются. Предстоит еще достаточно много работы, но уже сейчас есть разработки, которые могут заинтересовать потенциальных партнеров.

*WorldSkills – это международная некоммерческая ассоциация, целью которой является повышение статуса и стандартов профессиональной подготовки и квалификации по всему миру, популяризация рабочих профессий через проведение международных соревнований по всему миру.

Сергей Исаев

Источник: vk.com

Комментарии: