Zvec: встраиваемая векторная база данных для RAG без внешних сервисов

Alibaba открыла исходный код Zvec - встраиваемой векторной СУБД, которую авторы называют (https://zvec.org/en/blog/introduction/) «SQLite для векторных баз данных».

Проект заточен на локальные RAG-пайплайны, семантический поиск и агентские сценарии на ноутбуках, мобильных устройствах или другом edge-железе.

Идея в том, что разворачивать отдельный сервер ради векторного поиска и фильтрации по метаданным избыточно. Zvec встраивается в процесс Python-приложения и не требует ни отдельного демона, ни сетевых вызовов.

Существующие решения не подходят для маломощных устройств: Faiss дает только ANN-индекс без скалярного хранилища и крэш-рекавери; DuckDB-VSS ограничен в опциях индексирования; Milvus и облачные векторные хранилища требуют сеть.

Под капотом - Proxima, векторный движок продакшен-уровня, который Alibaba сама использует в собственных сервисах. Поверх него сделали лаконичный Python API:

полный CRUD и поддержка схем;

поиск по нескольким векторам для комбинации разных эмбеддинг-моделей;

встроенный реранкер с weighted и RRF;

гибридный поиск (векторный + фильтры по скалярным полям) с инвертированными индексами.

Это позволяет собирать локальных ассистентов, которые одновременно используют семантический поиск, множественную фильтрацию и несколько эмбеддинг-моделей - все в одном движке.

По производительности Zvec заявляет победу на бенче VectorDBBench с датасетом Cohere 10M - более 8 000 QPS при сопоставимом реколле. Это вдвое больше, чем у лидера ZillizCloud и с более быстрым построением индекса.

Авторы объясняют успех глубокой оптимизацией под CPU: SIMD, кэш-эффективные структуры, многопоточность и prefetching.

Пока платформенная поддержка ограничена [спойлер: (Windows отсутствует)], но для Linux x86/ARM64 и macOS Zvec уже готов к экспериментам на Python 3.10–3.12.

Лицензирование: Apache 2.0 License.

Статья (https://zvec.org/en/blog/introduction/)

Документация (https://zvec.org/en/docs/)

GitHub (https://github.com/alibaba/zvec)

Источник: github.com

Комментарии: