Новые LLM постепенно отказываются от Full Attention

В архитектурах открытых языковых моделей заметен серьёзный сдвиг: разработчики всё чаще заменяют классический Full Attention гибридными механизмами или полностью отказываются от него.

Динамика за 2025-2026 годы показывает ускорение этого перехода. Если в 2025 году преобладали модели с полноценным Attention, то во второй половине 2026-го наблюдается разделение примерно 50/50 между гибридными архитектурами и моделями без Full Attention вообще.

Вместо него используют Sliding Window Attention, Gated DeltaNet, KDA, Mamba-2, разреженное внимание и другие механизмы.

Зачем это нужно?

Первое: меньше вычислений. Разреженное внимание обрабатывает только выбранные токены или блоки контекста, сокращая стоимость обработки длинных последовательностей.

Второе: меньше памяти. Рекуррентные механизмы вроде Gated DeltaNet хранят состояние фиксированного размера, вместо того чтобы удерживать всю историю взаимодействия.

У такого подхода есть компромисс: сжатие истории усложняет точное извлечение информации. Поэтому многие модели комбинируют рекуррентные слои с классическим или разреженным Attention.

Основное направление развития архитектур LLM - удешевление работы с длинным контекстом: большими документами, кодовыми базами и многошаговыми ИИ-агентами, которые совершают десятки вызовов инструментов.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: