Wasserstein Learning Theory: когда ИИ учится сравнивать не точки, а целые распределения

В машинном обучении всё чаще важен не один конкретный пример, а то, как устроены данные целиком.

Например, модель обучали на одном распределении картинок, текстов или действий, а в реальности она получает немного другие данные. Обычная метрика может сказать: “распределения отличаются”. Wasserstein-подход показывает глубже: насколько далеко одно распределение нужно “перенести”, чтобы оно стало похоже на другое.

Идея пришла из оптимального транспорта. Представьте две кучи песка: одна форма - это первое распределение, другая второе. Расстояние Вассерштейна считает минимальную работу, которую нужно сделать, чтобы переложить песок из первой формы во вторую.

Почему это важно для ML:

* помогает анализировать сдвиг данных

* полезно для domain adaptation

* даёт инструменты для устойчивого обучения

* применяется в генеративных моделях

* помогает изучать обобщение нейросетей

* используется в reinforcement learning

В отличие от KL-дивергенции, Wasserstein distance учитывает геометрию пространства. Поэтому два распределения могут отличаться не просто “сильно” или “слабо”, а с учётом того, где именно находятся эти различия.

На практике это важно там, где модель должна быть устойчивой: новые домены, шумные данные, генерация, перенос знаний, обучение агентов.

Wasserstein Learning Theory даёт более точный язык для современной ML-задачи: не просто подогнать модель под датасет, а понять, как она ведёт себя при изменении распределения данных.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: