Как сделать RAG в 32 раза легче: бинарная квантизация на практике

Если вы работаете с RAG-системами, то наверняка сталкивались с проблемой: векторные индексы жрут память как не в себя. Миллионы эмбеддингов в float32 превращаются в десятки гигабайт, и масштабирование сложным.

Но есть простой прием, который уже используют Perplexity, Azure и HubSpot. Называется он бинарная квантизация (Binary Quantization), и он сокращает потребление памяти в 32 раза.

Идея элементарная: вместо того чтобы хранить каждый компонент вектора как 32-битное число с плавающей точкой, мы превращаем его в один бит. Положительное значение становится единицей, отрицательное или нулевое - нулем.

Звучит как будто мы теряем кучу информации? Да, теряем. Но на практике для задач поиска ближайших соседей этого достаточно.

Рабочий стек: LlamaIndex + Milvus + быстрая LLM (Kimi-K2 через Groq). На датасете PubMed (36+ млн векторов) - поиск менее 30 мс, генерация ответа менее секунды.

Бинарная квантизация - не серебряная пуля. Она отлично подходит для больших индексов, когда критична память и скорость. Для маленьких индексов (до миллиона векторов) это скорее всего overkill.

Код: https://github.com/patchy631/ai-engineering-hub/tree/main/fastest-rag-milvus-groq

Полный разбор: https://uproger.com/kak-sdelat-rag-v-32-raza-legche-binarnaya-kvantizacziya-na-praktike/

Оригинал (X): https://x.com/_avichawla/article/2040326889928356122

Телеграм: t.me/ainewsline

Источник: x.com

Комментарии: