109 млн параметров против 72 млрд: Лекун показал силу другого способа обучения ИИ

Ян Лекун и Рэндалл Балестриеро доказали платоническую гипотезу представлений для архитектур JEPA при определённых условиях.

Идея такая: модели, обученные на разных типах данных, могут сформировать похожие внутренние представления о мире. Одна читает тексты, другая рассматривает изображения, но обе обнаруживают сходные закономерности.

В работе две модели обучаются независимо: визуальная - на разных снимках одной сцены, текстовая - на разных описаниях. Пары «изображение + текст» для обучения самих моделей не нужны.

Полученные представления совпадают с точностью до поворота пространства признаков. Проще говоря, модели строят совместимые «карты», используя разные системы координат.

В экспериментах авторов:

- Для одинакового уровня согласования текста и изображений потребовалось в 42 раза меньше обучающих примеров, чем при предсказании следующего токена.

- Текстовая JEPA со 109 млн параметров превзошла все проверенные языковые модели размером до 72 млрд параметров по согласованию с визуальными моделями.

alphaxiv.org/abs/2610.39302

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: