Стартап заявляет, что решил одну из ключевых проблем ИИ — "обобщение во времени"

Стартап заявляет, что решил одну из ключевых проблем ИИ — "обобщение во времени". Разбираем, что это такое и как работает их новая модель.

Польский стартап Pathway объявил о создании новой архитектуры больших языковых моделей (LLM), которая, по их заявлению, решает проблему "обобщения во времени".

Проще говоря, "обобщение во времени" — это способность ИИ рассуждать и учиться на новом опыте в реальном времени, а не просто повторять заученные паттерны. Это одна из фундаментальных проблем, которая ограничивает развитие автономных ИИ-систем. Решением этой проблемы занимаются все крупные лаборатории, включая OpenAI и Google.

1. Архитектура Dragon Hatchling (BDH): Что это?

Dragon Hatchling (BDH) — это название новой архитектуры LLM. В отличие от стандартных трансформеров (как GPT), она основана на сети "нейронных частиц", которые взаимодействуют локально, что, по словам разработчиков, имитирует работу нейронных сетей в мозге млекопитающих.

Отличия и заявленные преимущества:

- На масштабах от 10 млн до 1 млрд параметров модель демонстрирует производительность, сопоставимую с GPT-2.

- Интерпретируемость - главное заявленное преимущество. Из-за локального характера взаимодействий внутренние механизмы модели легче анализировать. То есть, проще понять, почему нейросеть пришла к тому или иному выводу. Это критически важно для создания надежных и предсказуемых ИИ-систем.

- Модель использует локальные нейронные правила для выполнения задач рассуждения и работы с памятью, что отличает ее от глобальной архитектуры внимания в трансформерах.

2. Процесс разработки:

В процессе разработки был зафиксирован факт спонтанного формирования структуры, напоминающей сканирование человеческого мозга. Эта структура не была заранее запрограммирована, а возникла сама в процессе обучения модели.

Этот факт используется разработчиками как доказательство того, что их подход имитирует биологические процессы и позволяет модели самостоятельно выстраивать сложные когнитивные архитектуры.

3. Оценка и значимость: что говорят эксперты.

Внешние эксперты, в частности польский популяризатор науки Мацей Кавецки, утверждают, что это решение одной из главных проблем современного ИИ.

Основные тезисы:

- Pathway заявляет, что их модель способна к "обобщению во времени" — то есть, к рассуждению, обучению на опыте и формулированию прогнозов на основе новой информации, что является фундаментальным свойством человеческого интеллекта.

- Подчеркивается, что это достижение не крупной корпорации с миллиардными бюджетами, а результат работы небольшой команды ученых.

- Утверждается, что структура, которую спонтанно формирует модель, напоминает поведение неокортекса — отдела мозга млекопитающих, отвечающего за высшие когнитивные функции (обучение, принятие решений).

Заявления о "решении главной проблемы ИИ" — это пока маркетинг. Однако, если их модель действительно окажется более прозрачной и способной к реальному обучению на лету при сохранении высокой производительности, это может стать существенным шагом вперед по сравнению с текущим поколением LLM.

Необходимо дождаться независимых тестов и более подробной технической документации. Но следить за этим стартапом определенно стоит.

Источник: vk.com

Комментарии: