GraphRAG — методология улучшенного извлечения данных для генерации текста из определенных источников (RAG) от Microsoft.

GraphRAG использует графы знаний для улучшения ответов на запросы. Во время запроса система обращается к графу знаний и использует резюме сообществ и связи между сущностями для формирования контекста, который помогает LLM дать более точный ответ, чем традиционные методы, основанные на поиске по векторным сходствам.

Архитектура GraphRAG состоит из ключевых компонентов:

Indexer : разделяет корпус данных на мелкие текстовые блоки (TextUnits), извлекает из них сущности, связи и ключевые утверждения.

Clustering : группирует данные в иерархическую структуру с использованием метода Лейдена, создавая граф знаний.

Community Summarization : генерирует обобщенные описания для каждой группы данных, что помогает в понимании контекста и смыслового связывания всей информации.

Knowledge Graph : структура, объединяющая сущности и их связи, созданная на основе данных.

GraphRAG значительно улучшает работу моделей языка с частными данными, позволяя им более точно и полно отвечать на сложные вопросы, требующие синтеза информации из разных источников.

Рекомендации и предупреждения:

- Эффективность индексации зависит от правильной идентификации понятий

- Индексация может быть дорогостоящей, рекомендуется создание тестового набора данных

- Система предназначена для опытных пользователей в предметной области

- Необходим анализ ответов человеком для получения достоверной информации

- Методология наиболее эффективна на текстовых данных с общей темой и множеством сущностей

Документация:

локальный запуск: https://github.com/microsoft/graphrag/blob/main/DEVELOPING.md

конфигурирование https://microsoft.github.io/graphrag/posts/config/overview/

эмулятор Azurite https://learn.microsoft.com/en-us/azure/storage/common/storage-use-azurite?tabs=visual-studio%2Cblob-storage

Github https://github.com/microsoft/graphrag

Github для запуска на API Azure https://github.com/Azure-Samples/graphrag-accelerator

Страница проекта https://microsoft.github.io/graphrag/

Arxiv https://microsoft.github.io/graphrag/

Источник: github.com

Комментарии: