Скрытая погода: как ИИ нашёл в атмосфере то, чего не замечали учёные полвека

Семьдесят лет метеорологи улучшали прогноз погоды одним способом — наращивали мощность суперкомпьютеров, решающих уравнения гидродинамики. Потом пришли нейросети и за пару лет превзошли физические модели, на разработку которых ушли десятилетия. Оказалось, что в атмосфере скрыты закономерности, которые не вмещались ни в какие уравнения, — но машинное обучение их увидело.

Прогноз, застрявший на плато

Семьдесят лет метеорология шла одним путём: уравнения гидродинамики, описывающие движение воздуха, перенос тепла и влаги, загружались в суперкомпьютеры, и те считали будущее. С каждым поколением машин прогнозы улучшались — каждое десятилетие добавляло примерно один день к горизонту достоверного предсказания. Европейский центр среднесрочных прогнозов (ECMWF) довёл разрешение своей флагманской модели IFS до 9 километров, американская GFS работала на сетке 13 километров. Один прогнозный цикл занимал часы на кластерах с десятками тысяч ядер.

Но к началу 2020-х прогресс замедлился. Удвоение разрешения требовало десятикратного увеличения вычислительных затрат, а выигрыш становился всё скромнее. Метеорология подошла к «стене сложности» — наращивание мощности больше не давало пропорционального результата.

Проблема, которую не могли решить уравнения

Атмосфера непрерывна, но компьютер разбивает её на ячейки. Даже при разрешении 9 км каждая ячейка покрывает 80 квадратных километров — внутри может поместиться целая гроза. Всё, что мельче ячейки, приходится параметризовать — заменять упрощёнными формулами, которые описывают совокупный эффект мелких процессов.

Конвекция — восходящие потоки, порождающие грозы — главная жертва этого подхода. Кучевое облако имеет размер в сотни метров и не «помещается» в ячейку. Параметризации конвекции, разработанные в 1980–90-х, основаны на грубых предположениях: они не описывают организацию гроз в мезомасштабные системы, плохо работают в переходных ситуациях, не улавливают обратные связи между конвекцией и крупномасштабной циркуляцией. Турбулентность, микрофизика облаков, взаимодействие с рельефом — всё параметризуется, каждая схема вносит ошибку, и ошибки усиливают друг друга нелинейно.

Когда данных стало больше, чем теории

К 2020-м наблюдательная система достигла невиданного масштаба: спутники, радиозонды, 800 тысяч измерений с коммерческих самолётов в сутки, буи, радары — десятки миллионов наблюдений ежедневно. В этих данных были закодированы все процессы в атмосфере, включая те, которые параметризации описывали неточно.

ECMWF создал ERA5 — реанализ с 1940 года по настоящее время, пропустивший все наблюдения через физическую модель. Получилась физически согласованная четырёхмерная картина атмосферы за восемь десятилетий. Чтобы извлечь из неё скрытые паттерны, нужен был инструмент, работающий с многомерными нелинейными зависимостями без необходимости записывать их в виде уравнений. Таким инструментом стало глубокое обучение.

Машины входят в игру

В 2022 году Huawei представила Pangu-Weather — нейросеть на основе трёхмерного Vision Transformer, обученную на 39 годах ERA5. Она показала точность, сопоставимую с IFS на сроках 3–7 дней, а кое-где превзошла её. Один прогноз занимал секунды на одном графическом ускорителе вместо часов на суперкомпьютере. GraphCast от Google DeepMind и FourCastNet от NVIDIA подтвердили: это закономерность.

Настоящий сдвиг произошёл, когда в гонку вступили организации с глубокой метеорологической экспертизой. ECMWF создал AIFS, Microsoft Research — Aurora. Эти модели не просто повторяли трюк с обучением на ERA5, а начали вскрывать причины превосходства нейросетей.

AIFS: метеорологи против собственной модели

AIFS стала уникальным экспериментом — ведущий мировой метеоцентр создал нейросеть, конкурирующую с собственной физической моделью, которую разрабатывал сорок лет. Архитектура на основе graph transformer представляла атмосферу как граф с узлами на разных масштабах, эффективно работая на сфере без проекционных искажений.

AIFS оказалась на 10–15% точнее в прогнозе траекторий тропических циклонов на 5–7 дней. Исследователи обнаружили, что нейросеть иначе обрабатывала момент, когда тропический циклон перестраивается во внетропический — одну из самых трудных ситуаций для физических моделей. Нейросеть распознавала тонкие предвестники этого перехода в полях влажности и вихренности верхней тропосферы — предвестники, которые терялись в физических моделях из-за ошибок параметризации конвекции.

Ещё одно открытие: AIFS лучше предсказывала блокирующие антициклоны — устойчивые зоны высокого давления, вызывающие затяжные волны жары и засухи. Физические модели десятилетиями разрушали их в прогнозе слишком рано. AIFS, обученная на реальных данных, «видела», как долго блокинги живут на самом деле, и не имела встроенного физического смещения.

Aurora: фундаментальная модель атмосферы

Aurora от Microsoft пошла дальше — это попытка создать «фундаментальную модель» наук о Земле, по аналогии с большими языковыми моделями. Архитектура на основе Swin Transformer работала с разрешением 0,1 градуса (около 11 км), модель сначала предобучалась на данных низкого разрешения, формируя общее «понимание» атмосферы, затем дообучалась на данных высокого разрешения.

Ключевой результат: навыки переносились между задачами. Модель, обученная лучше предсказывать геопотенциал на высоте, автоматически лучше предсказывала осадки у поверхности. Это означало, что она улавливала глубинные динамические связи между крупномасштабной циркуляцией и осадкообразованием — связи, которые в физических моделях обеспечивались цепочкой неточных параметризаций.

Скрытые механизмы: что видит нейросеть

Методы интерпретируемости — карты внимания, градиентная атрибуция, анализ латентных представлений — позволили заглянуть внутрь обученных моделей. Обнаружилось несколько вещей, которые метеорологи не замечали десятилетиями.

Нейросети нашли неизвестные телеконнекции — дальние связи между погодой в удалённых регионах. При прогнозировании погоды в Европе на 5–7 дней модель «обращала внимание» на тонкие градиенты температуры океана в районе Гольфстрима, которые не учитывались стандартными индексами и терялись в физических моделях из-за ошибок параметризации.

Нейросети обнаружили, что определённые паттерны температуры в нижней стратосфере связаны с интенсификацией конвекции в тропосфере через несколько дней. Стратосферно-тропосферное взаимодействие считалось важным на масштабах недель и месяцев. Оказалось, что оно существенно и для прогноза на 3–7 дней — физические модели это систематически недооценивали.

Наконец, нейросети показали, что обратный каскад энергии — от мелких масштабов к крупным — играет куда большую роль, чем предполагалось. Организация тропической конвекции генерирует волны, влияющие на траектории циклонов в средних широтах. Физические модели воспроизводили это плохо, потому что исходная точка процесса параметризовалась слишком грубо.

Тайный язык влажности

Водяной пар — самый переменчивый компонент атмосферы и основной источник энергии для циклонов и гроз. Ошибки в поле влажности каскадно разрастаются: неточная влажность — неточная конденсация — неточное выделение тепла — неточное давление.

Анализ латентных представлений Aurora показал, что нейросеть формирует внутренние переменные — нечто вроде «потенциала осадкообразования», объединяющего вертикальный профиль влажности, стабильность атмосферы и конвективную энергию. Физики использовали подобные индексы, но нейросеть конструировала собственные, более сложные комбинации, не имеющие аналогов в классической метеорологии. Модель «обращала внимание» на тонкую форму сухих интрузий — языков стратосферного воздуха в тылу циклонов — и использовала их как предиктор последующей интенсификации. Структуры, слишком мелкие для параметризаций, но оставлявшие след в данных.

Скорость как новое качество

Один прогноз на десять дней — 30–60 секунд на одном GPU вместо часа на суперкомпьютере за сотни миллионов евро. Это позволило генерировать не 50, а тысячу членов ансамбля при полном разрешении.

Количественное изменение стало качественным: с тысячей сценариев можно надёжно оценивать вероятность редких экстремальных событий — ураган 4-й категории через конкретный регион, суточные осадки выше исторического рекорда. Для систем раннего предупреждения это революция.

Парадокс чёрного ящика

Физическая модель прозрачна: каждый шаг соответствует закону физики, ошибку можно отследить. Нейросеть — миллиарды параметров, из которых невозможно извлечь ответ «почему» в привычном смысле. Синоптик не может оценить физическую правдоподобность нейросетевого прогноза привычными инструментами.

Есть и техническая проблема: нейросети, обученные минимизировать среднюю ошибку, сглаживают экстремумы на больших сроках — предсказывают менее интенсивные циклоны и менее сильные осадки, чем в реальности. Это противоположно тому, что нужно для предупреждения о стихийных бедствиях. Частичное решение нашлось в диффузионных моделях — том же классе, что генерирует изображения. Проект GenCast от Google DeepMind показал, что диффузионный подход сохраняет реалистичность экстремумов и даёт лучше калиброванные вероятности.

Гибриды: физика плюс данные

Осознание ограничений обоих подходов привело к гибридным моделям. Идея: физическое ядро решает уравнения движения, а параметризации заменяются нейросетями, обученными на данных моделирования с ультравысоким разрешением, где конвекция разрешена явно.

NeuralGCM от Google Research — наиболее полная реализация: динамическое ядро на сфере плюс нейросетевая физика. Модель даёт точность прогноза на уровне лучших нейросетевых моделей, но при этом консервирует массу и энергию и может использоваться для климатических симуляций — чего чисто нейросетевые модели не умеют.

Что люди не видели десятки лет

Нейросети обнаружили, что пространство состояний атмосферы имеет более низкую эффективную размерность, чем предполагали физические модели. Миллионы переменных на расчётной сетке управляются гораздо меньшим числом паттернов, и нейросети автоматически находили это латентное пространство.

Они показали, что связи между переменными и регионами условны — «включаются» и «выключаются» в зависимости от контекста. Механизм внимания в трансформерах идеально моделирует такие зависимости, чего линейные уравнения делать не могут.

Они обнаружили, что медленные компоненты системы — океан, снежный покров, влажность почвы — влияют на быструю атмосферу через цепочки взаимодействий, которые физические модели воспроизводили неполно. И они выявили систематические ошибки в самих данных реанализа, которые десятилетиями оставались незамеченными.

Новая метеорология

Нейросети не убили физическую метеорологию — они показали ей слепые зоны. Они доказали, что атмосфера содержит закономерности, не вмещающиеся в рамки параметризаций полувековой давности. ECMWF уже использует AIFS как оперативный продукт наряду с IFS, американская и другие национальные службы тестируют собственные модели машинного обучения.

Но главный урок выходит за рамки метеорологии. В хорошо изученной физической системе, которой занимались тысячи учёных десятилетиями, обнаружились существенные закономерности, невидимые для человеческого разума. Океан, земная кора, биосфера — везде существуют скрытые механизмы, ждущие открытия. Нейросети не заменяют физику — они расширяют горизонт того, что физика способна увидеть.

Источник: vk.com

Комментарии: