Новый метод градиентной оптимизации с использованием экспоненциального затухания, MAMGD, для нейронных сетей и многомерных действительных функций разработан российскими учеными

Описаны алгоритм (см. скриншот) работы оптимизатора, математические идеи и применяемые методы. Приведены результаты экспериментов на основе минимизации действительных функций и результаты скорости сходимости нейронных сетей для различных задач машинного обучения, включая регрессию и классификацию.

Результаты экспериментов и исходный код размещены в открытом доступе репозитария GitHub: https://github.com/NekkittAY/MAMGD_Optimizer

Для проведения экспериментов метод оптимизации MAMGD был реализован с помощью библиотек глубокого машинного обучения tensorflow и keras. Для построения графиков функций использовалась библиотека matplotlib. В качестве экспериментов были выбраны задачи минимизации многомерных действительных функций, аппроксимации функций с помощью многослойной нейросети и обучение нейронных сетей на популярных датасетах классификации и регрессии.

Предложенный подход оптимизации на основе экспоненциального затухания и адаптивной скорости обучения с применением дискретной производной градиентов второго порядка продемонстрировал хорошую скорость сходимости и устойчивость к осцилляциям.

Полный текст исследования опубликован в научном журнале “Технологии”.

https://www.researchgate.net/publication/383844499_MAMGD_Gradient-Based_Optimization_Method_Using_Exponential_Decay

Источник: www.researchgate.net

Комментарии: