Исследователи представили новую технологию под названием Adamas, которая ускоряет механизм self-attention до 4.4 раз, сохраняя качество обработки длинных контекстов

Главная идея - сделать внимание «разреженным» без потери смысла. Вместо того чтобы сравнивать каждый токен со всеми остальными, как в классическом attention, модель Adamas использует только 128 релевантных токенов для каждого запроса. При этом точность остаётся почти такой же, как у полного внимания, а скорость растёт в несколько раз.

Метод основан на простых, но эффективных приёмах. Сначала к векторам запросов и ключей применяется преобразование Адамара, которое сглаживает экстремальные значения и позволяет их сжать. Затем значения разбиваются на четыре уровня и кодируются всего в 2 бита. Эти компактные коды хранятся в кэше и позволяют при инференсе быстро вычислять сходство между токенами с помощью лёгкой метрики (Manhattan distance). Модель выбирает наиболее важные токены и выполняет обычное внимание только над ними.

Такой подход почти не требует дополнительной памяти, лишь небольшой 2-битный код на токен — и может встраиваться в существующие LLM без переобучения. Благодаря этому Adamas обеспечивает до 4.4 ускорения self-attention и около 1.5 ускорения инференса в целом, не теряя качества.

Источник: vk.com

Комментарии: