Разработка российских математиков ускорит оптимизацию работы систем ИИ

Исследователи из Лаборатории искусственного интеллекта Сбербанка, МФТИ и Университета Иннополис разработали новый алгоритм итеративной оптимизации, который ускорит тонкую подстройку гиперпараметров в системах искусственного интеллекта и значительно уменьшит число шагов, необходимых для оптимизации работы этих ИИ-моделей.

С помощью такого подхода можно оптимизировать двухэтапные процедуры, когда на первом этапе обучается нейронная сеть для извлечения численных представлений данных, которые обеспечивают максимальную точность классификации на втором этапе. Кроме того, метод может быть использован в некоторых случаях при дообучении больших языковых моделей.

С подобными ситуациями, как отмечают авторы алгоритма, ученые нередко сталкиваются при разработке и дообучении систем искусственного интеллекта. Существующие методы оптимизации математических функций, такие как алгоритм Франк-Вульфа, далеко не всегда позволяют решить их, что побудило российских исследователей создать свой собственный, более универсальный и быстродействующий подход.

Подход позволяет тонко подстраивать модели машинного обучения за меньшее число шагов, чем существующие подходы, а также эффективно работает в ситуациях, когда расчет сопровождается случайными ошибками. Он значительно превзошел в качестве работы уже доступные аналоги.

Источник: МФТИ

Источник: vk.com

Комментарии: