Исследователи Сколтеха предложили новый подход к обучению физически информированных нейросетей, который позволяет с высокой точностью решать дифференциальные уравнения даже на низкоточной

Исследователи Сколтеха предложили новый подход к обучению физически информированных нейросетей, который позволяет с высокой точностью решать дифференциальные уравнения даже на низкоточной ИИ-аппаратуре. Результаты работы опубликованы в журнале SN Computer Science (https://rdcu.be/eZRSb).

Современные ускорители ИИ широко используют вычисления в формате float16 (FP16) — это представление чисел с пониженной точностью, которое требует меньше памяти и энергии и позволяет значительно ускорить расчёты. Такие вычисления уже стали стандартом в обучении нейросетей и применяются на специализированных ИИ-ускорителях.

Однако для научных задач, например при решении дифференциальных уравнений, обычно требуется более высокая точность float32 (FP32) или даже float64 (FP64), иначе накапливающиеся округления приводят к большим ошибкам.

В работе показано, как преодолеть это ограничение без отказа от FP16. Разработанный метод Iterative Refinement Physics-Informed Neural Network (IR-PINN) разбивает решение на базовую нейросеть и последовательность корректирующих сетей, каждая из которых уточняет результат. Хотя сами нейросети обучаются и работают в FP16, ключевые операции накопления и производные уравнений сохраняются в полной точности, что обеспечивает численную устойчивость и высокую точность итогового решения.

Авторами работы стали аспиранты Михаил Сморкалов и Бари Хайруллин, а также Сергей Рыкованов, руководитель лаборатории суперкомпьютеров в ИИ (AI & Supercomputing) Центра искусственного интеллекта Сколтеха.

«Мы показали, что даже при вычислениях в FP16 можно добиться точности уровня FP32, а в некоторых задачах — превзойти её. Это важно, потому что именно низкоточная арифметика сегодня лежит в основе большинства ИИ-ускорителей», — отмечает Михаил Сморкалов, первый автор статьи.

Метод был протестирован на ряде классических задач математической физики, включая уравнения Пуассона, Гельмгольца и Бюргерса, а также жёсткую задачу адвекции–диффузии. Во всех случаях IR-PINN существенно снижал ошибку по сравнению с обычными FP16-подходами и достигал или превосходил точность стандартных FP32-моделей.

Разработка открывает возможность использовать энергоэффективные ИИ-ускорители не только для задач машинного обучения, но и для высокоточных научных расчётов в вычислительной физике и инженерии.

Источник: link.springer.com

Комментарии: