GraphRAG: шаблоны проектирования, проблемы, рекомендации

GraphRAG (Graph-based Retrieval Augmented Generation) улучшает традиционный метод Retrieval Augmented Generation ( RAG ) путем интеграции графов знаний ( KG ) или графовых баз данных с большими языковыми моделями ( LLM ). Он использует структурированную природу графовых баз данных для организации данных в виде узлов и связей, что позволяет более эффективно и точно извлекать релевантную информацию для предоставления лучшего контекста LLM для генерации ответов.

Используя графы знаний в качестве источника структурированного, специфичного для предметной области контекста или фактической информации, GraphRAG позволяет магистрам права предоставлять более точные, контекстно-зависимые и релевантные ответы на вопросы, особенно для сложных запросов, требующих целостного понимания обобщенных семантических концепций в больших наборах данных или даже в отдельных больших документах.

В то время как обычные методы векторного поиска фокусируются на неструктурированных данных с использованием многомерных векторов, GraphRAG использует графы знаний, чтобы обеспечить более тонкое понимание и извлечение взаимосвязанной, разнородной информации. Этот структурированный подход улучшает контекст и глубину извлекаемой информации, что приводит к более точным и релевантным ответам на запросы пользователей, особенно для сложных или специфичных для домена тем.

Множество архитектур GraphRAG

Хотя GraphRAG предлагает преимущества по сравнению с традиционным RAG, используя структурированную природу графов знаний, его реализация представляет уникальные проблемы. Отсутствие стандартизированного подхода к интеграции графов знаний в конвейер RAG создает множество реализаций, каждая из которых имеет свои собственные сильные стороны и соображения. Кроме того, требование уже существующего графа знаний добавляет еще один уровень сложности. Вот несколько распространенных архитектур GraphRAG:

Граф знаний с семантической кластеризацией

Граф обеспечивает структурированное представление данных и позволяет рассуждать на основе всего набора данных. Конвейер начинается с того, что пользователь отправляет запрос, за которым следует система, использующая граф знаний и машинное обучение графа для извлечения соответствующей информации. Затем извлеченная информация организуется в семантические кластеры посредством кластеризации на основе графа. Эта кластеризованная информация обогащает данные в окне контекста LLM, позволяя LLM генерировать ответ, используя этот обогащенный контекст. Окончательный ответ включает ссылки на граф знаний, что делает его пригодным для анализа данных, обнаружения знаний и исследовательских приложений.

Интеграция графа знаний и векторной базы данных

Этот подход использует как граф знаний, так и векторную базу данных для сбора релевантной информации. Граф знаний построен таким образом, что фиксирует отношения между фрагментами векторов, включая иерархии документов. Граф знаний предоставляет структурированную информацию о сущностях в окрестностях извлеченных фрагментов из векторного поиска, обогащая подсказку ценным дополнительным контекстом. Эта обогащенная подсказка подается в LLM для обработки, и LLM генерирует ответ. Наконец, сгенерированный ответ возвращается пользователю. Эта архитектура подходит для таких вариантов использования, как поддержка клиентов, семантический поиск и персонализированные рекомендации.

Сеть вопросов и ответов, улучшенная с помощью Knowledge Graph

В этой архитектуре граф знаний используется ниже по потоку от векторного поиска для улучшения ответа дополнительными фактами. Конвейер начинается с того, что пользователь предоставляет запрос, за которым следует расчет внедрения запроса. Затем выполняется поиск векторного сходства по векторному индексу для определения соответствующих сущностей из графа знаний. Система извлекает соответствующие узлы и свойства из базы данных графа и (если они найдены) выполняет запросы Cypher для извлечения дополнительной информации об этих сущностях. Извлеченная информация агрегируется для формирования всеобъемлющего контекста, который передается в LLM для генерации ответа. Этот подход полезен в здравоохранении или юридических учреждениях, где стандартный ответ всегда включается вместе с ответом на основе сущностей в ответе.

Гибридный поиск с графическим расширением

Эта архитектура GraphRAG использует гибридный подход, который объединяет векторный поиск, поиск по ключевым словам и запросы, специфичные для графов, для эффективного и точного поиска релевантной информации. Обратите внимание, что термин «гибридный» здесь не является общепринятым определением объединения векторного поиска и поиска на основе ключевых слов — он также включает в себя этап поиска графа знаний. Конвейер начинается с того, что пользователь отправляет запрос, за которым следует процесс гибридного поиска, который объединяет результаты поиска неструктурированных данных и поиска графовых данных. Поиск из индекса векторов и ключевых слов может быть изначально улучшен с помощью методов переранжирования или слияния рангов. Результаты всех трех форм поиска объединяются для создания контекста для LLM, сгенерированный ответ которого доставляется пользователю. Эта архитектура подходит для таких вариантов использования, как корпоративный поиск, поиск документов и обнаружение знаний.

Расширение и генерация запросов на основе графа знаний

Эта архитектура использует граф знаний перед выполнением векторного поиска для обхода и извлечения соответствующих узлов и ребер, обогащая контекстное окно LLM. Первый этап — это дополнение запроса, где запрос пользователя обрабатывается LLM для извлечения ключевых сущностей и связей. Векторный поиск выполняется по свойствам узлов в графе знаний для сужения интересующих их узлов. Следующий шаг — переписывание запроса, при котором запросы Cypher генерируются на извлеченном подграфе для дальнейшего сужения релевантной структурированной информации из графа. Извлеченные данные из обхода графа используются для обогащения контекстного окна LLM. Наконец, LLM генерирует ответ на основе обогащенного контекста. Эта архитектура подходит для поиска продуктов или создания финансовых отчетов, где важны связи между сущностями.

Ключевые проблемы

Создание всеобъемлющего и точного графа знаний требует глубокого понимания предметной области и опыта в моделировании графов, что является сложным и ресурсоемким. Автоматизация этого процесса с помощью LLM все еще находится на ранних стадиях и может быть сложной и/или подверженной ошибкам. Обеспечение качества, релевантности и полноты данных имеет решающее значение. Поддержание актуального графа знаний требует экспертных знаний, ресурсов и постоянной адаптации к меняющимся данным. Интеграция данных из нескольких источников с различными схемами и уровнями качества увеличивает сложность и время, требуемое для этой задачи.

Как мы отметили в предыдущем посте , сам RAG требует экспериментов, требующих вычислительных ресурсов, для определения оптимальных стратегий извлечения, фрагментации, встраивания, поиска и ранжирования информации. Эксперименты с интенсивными вычислениями для изучения различных архитектур, настроек и параметров GraphRAG также требуют значительных ресурсов. Использование распределенной вычислительной среды, такой как Ray, для обработки данных и встраивания вычислений, в сочетании с производительной и простой в интеграции базой данных графов, такой как Kuzu , облегчает крупномасштабные эксперименты и оптимизацию системы.

Будущее GraphRAG: идеи и рекомендации

Мы считаем, что GraphRAG здесь, чтобы остаться, и появился как естественное расширение RAG. Использование графов знаний предоставляет еще один способ получения структурированной информации, которая может улучшить подсказки, используемые LLM на этапе генерации. Вот несколько рекомендаций по началу внедрения GraphRAG в вашей организации:

• Во-первых, ознакомьтесь с «наивным» RAG (векторный поиск с фрагментацией). Также станьте опытным в проведении экспериментов и разработайте стратегию оценки (что считается «хорошим» результатом в вашей области?).

• Работа по получению источников данных для графа знаний, которыми могут быть существующие структурированные данные или неструктурированный текст, который можно преобразовать в граф знаний.

• Ознакомьтесь с графовыми базами данных, с тем, как вводить в них данные и как делать к ним запросы ( Kuzu — простой в настройке вариант).

• Начните с небольшого графа знаний и поэкспериментируйте с передачей результатов запроса из графа в качестве контекста в LLM, а затем сравните его производительность с вашей простой конфигурацией RAG.

• Не оптимизируйте свой граф знаний слишком рано. Сначала определитесь с архитектурой GraphRAG, которую вы можете реализовать. Вы можете начать улучшать свой KG и модель данных, как только у вас будут готовы все ваши настройки и конвейеры оценки GraphRAG.

• Запустите конвейер GraphRAG от начала до конца и убедитесь, что результаты действительно лучше, чем при использовании только векторных или только графических подходов.

• Не ставьте себе целью сразу создать идеальное приложение GraphRAG. Начав с более простого дизайна, вы сможете лучше оценить результаты поиска относительно базовой линии, а затем сможете наращивать их, добавляя более сложные маршрутизаторы и агенты .

• По мере развития вашей инициативы GraphRAG и роста ваших требований вам могут потребоваться более сложные архитектуры, способные обрабатывать большие объемы данных. Чтобы обеспечить плавный переход, разумно выбирать инструменты, которые могут масштабироваться вместе с вашим проектом . Инструменты должны быть гибкими и экономически эффективными, чтобы соответствовать улучшениям в настройке и дизайне GraphRAG, позволяя вам адаптировать и оптимизировать вашу систему по мере изменения ваших потребностей.

Это ранние дни для GraphRAG, и многие команды, создающие эти системы, все еще находятся на исследовательской стадии. Мы едва ли знаем о каких-либо примерах производственных развертываний, которые предлагают реальную ценность для бизнеса. Чтобы достичь этого, нам понадобится больше наборов данных для эталонных тестов и методологий оценки, разработанных специально для GraphRAG, чтобы помочь командам лучше оценивать производительность. Наборы данных для эталонных тестов, такие как FinanceBench , разработанные для ответов на вопросы в открытой книге, предлагают многообещающие средства изучения способности системы GraphRAG уменьшать галлюцинации и повышать фактическую точность в сгенерированных ответах.

Подкаст «Обмен данными»

1. Раскрытие потенциала агентов ИИ . Жоао Моура , основатель crewAI , обсуждает потенциал агентов ИИ для революционного изменения автоматизации, их архитектуру, методы и процесс их создания и внедрения с использованием таких платформ, как crewAI, а также исследует связанные с этим риски, проблемы и будущие направления развития технологии.

2. Машинное отучивание: методы, проблемы и будущие направления .  Кен Лю , аспирант Стэнфордского университета по информатике , обсуждает концепцию, подходы, проблемы и будущие последствия машинного отучения — процесса удаления определенных точек данных из обученных моделей ИИ.

Источник: gradientflow.substack.com

Комментарии: