Центр ИИ Сколтеха в MBZUAI: Алексей Зайцев — про байесовский ИИ

Алексей Зайцев (доцент Сколтеха, руководитель лаборатории «Сколтех–Сбербанк» Центра ИИ) принял участие в воркшопе «Переосмысление роли Байесовского подхода в эпоху современного ИИ» (Rethinking the Role of Bayesianism in the Age of Modern AI) в Университете искусственного интеллекта имени Мухаммеда бин Заида (MBZUAI, Абу-Даби). Алексей участвовал в обсуждениях и представил постер исследования, принятого к публикации на ICDM (A*): «Теоретические основы контрастивного самообучения для непрерывных зависимых данных» (A theoretical framework for self-supervised contrastive learning for continuous dependent data). В работе был предложен теоретический подход для обучения представлений на коррелированных временных и пространственно-временных данных с явным учётом зависимостей.

Воркшоп собрал ведущих исследователей, которые задают повестку вероятностного ИИ. Среди участников — Эндрю Гордон Вилсон (Andrew Gordon Wilson, NYU), Эрик Мулене (Eric Moulines, ?cole Polytechnique), Максим Панов (Maxim Panov, MBZUAI), Айке Хюллермайер (Eyke H?llermeier, Paderborn University/LMU), Маурицио Филиппоне (Maurizio Filippone, KAUST), Гинтаре Дзюгайте (Gintare Dziugaite, Google DeepMind).

Программа включала постерную сессию, лекции ведущих учёных и дискуссии, посвящённые дальнейшему развитию байесовского направления. Обсуждали и теорию, и практику:

— PAC-Bayes (Probably Approximately Correct Bayesian) — семейство теоретических оценок того, насколько хорошо модель будет работать на новых данных с учётом априорных допущений. На встрече представили новые результаты по PAC-Bayes для непрерывного обучения (continual learning) — когда модель учится дальше, не забывая ранее выученное.

— Масштабирование вероятностных методов для LLM — как «вшивать» неопределённость и априорные знания в большие языковые модели, чтобы они не только выдавали ответ, но и понимали свою уверенность в нём; какие приближённые методы вывода работают на больших масштабах и как всё это считать эффективно.

«Ландшафт исследований в глубинном обучении непрерывно меняется. Направления адаптируются к новым вызовам, развивают старые методы или предлагают новые. Одно из фундаментальных направлений — байесовские методы — переживает подъём. Их идеи явно используются в диффузионных моделях и менее явно — в LLM. Парадигма учёта априорных знаний о мире в виде фундаментальной модели становится доминирующей в современном ИИ», — отметил Алексей Зайцев.

Воркшоп MBZUAI (https://bayesian.mbzuai.ac.ae/)

Препринт на arXiv (https://arxiv.org/abs/2506.09785)

Источник: arxiv.org

Комментарии: