Создан новый универсальный подход к обучению роботов

Математики разработали теорию для изучения устойчивости систем с итеративным обучением, чтобы научить роботизированные системы лучше выполнять рутинные действия. Созданные на основе этой теории алгоритмы универсальны и позволят значительно улучшить управление транспортными системами, автоматизированными системами в области наноиндустрии, а также ускорить процессы обучения роботов, обслуживающих конвейеры. Работа поддержана грантом Российского научного фонда (РНФ) и опубликована в SIAM Journal on Control and Optimization.

Людям постоянно приходится доводить выполнение различных однотипных действий до совершенства, при этом результат достигается при помощи тренировок, за счет которых человек запоминает и эффективно учитывает прошлый опыт. При создании роботов аналогичную задачу выполняет так называемое управление с итеративным обучением. Оно использует как текущую информацию, так и информацию с предыдущего повторения, то есть память.

С этих позиций управление с итеративным обучением — простейшая форма интеллектуального управления. В этом случае естественным образом выделяется два процесса: повторяющееся выполнение однородных действий и их последовательная корректировка. Так, баскетболист многократно бросает мяч в корзину, наблюдает за его полетом, и с каждым разом точность попадания увеличивается. Математические модели, описывающие такие процессы, получили название 2D-моделей.

В новой работе авторы предложили рассматривать энергетические составляющие системы в виде векторного поля — пространства со «стрелками», указывающими, каково направление каждой силы. Для удобства расчетов они использовали аналогию с хорошо изученными физическими полями. Если представить, что система — это бочка с дырявыми стенками, наполненная водой, то у векторного поля есть только стоки, но нет источников. Рано или поздно уровень жидкости сравняется с самым нижним отверстием, и течение прекратится — система придет в равновесное устойчивое состояние. Аналогичного исхода ученые ожидали и для своей «сточной» системы. Предположение подтверждается точными расчетами, свойства векторного поля определяются на основе анализа его дивергенции — способности векторов расходиться из конкретной точки пространства. Для 2D-систем она определяется без нахождения их решений. Таким образом, математики предложили метод исследования устойчивости различных классов 2D-систем общего вида, что дает возможность конструктивного подхода к проектированию их управления.

«Важнейшей характеристикой работоспособности системы любой природы является ее устойчивость. Применительно к системам управления с итеративным обучением это означает, что с увеличением числа повторений уменьшается ошибка, — комментирует один из авторов работы, профессор Нижегородского государственного технического университета имени Р.Е. Алексеева Павел Пакшин. — Общим методом исследования устойчивости является метод функций Ляпунова, однако в своей классической версии он не применим к исследованию 2D-систем. Из-за этого возникает необходимость развития новой теории, которая, в частности, должна служить основой построения эффективных алгоритмов управления с итеративным обучением».

Одной из наиболее важных областей применения полученных теоретических результатов станет управление с итеративным обучением роботами в промышленных конвейерных системах, в индустрии наносистем, в медицине, в транспорте и других приоритетных областях науки и техники. Алгоритмы управления, полученные на основе разработанной теории, позволили существенно увеличить скорость обучения при относительной простоте их реализации.

Пресс-релизы о научных исследованиях, информацию о последних вышедших научных статьях и анонсы конференций, а также данные о выигранных грантах и премиях присылайте на адрес science@indicator.ru.