Native Sparse Attention - революция в механизмах внимания от Deepseek

NSA (Natively Sparse Attention) — новый механизм внимания, предложенный на замену Full Attention, который значительно ускоряет обработку длинных последовательностей текста без потери качества модели.

NSA использует динамическую иерархическую стратегию, которая сочетает сжатие токенов на грубом уровне с точным отбором ключевых токенов. Это позволяет сохранить глобальное понимание контекста и локальную точность. NSA поддерживает сквозное обучение, совместим с GQA и MQA, что делает его пригодным не только для инференса, но и для обучения.

Модели, обученные с использованием NSA показали 9х ускорение при прямом распространении и 6х при обратном для последовательностей длиной 64к токенов относительно Full Attention. В декодировании - 11х.

arxiv.org (https://arxiv.org/pdf/2502.11089)

Источник: arxiv.org

Комментарии: