GraphRAG — методология улучшенного извлечения данных для генерации текста из определенных источников (RAG) от Microsoft. |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2024-07-11 11:54 GraphRAG использует графы знаний для улучшения ответов на запросы. Во время запроса система обращается к графу знаний и использует резюме сообществ и связи между сущностями для формирования контекста, который помогает LLM дать более точный ответ, чем традиционные методы, основанные на поиске по векторным сходствам. Архитектура GraphRAG состоит из ключевых компонентов: Indexer : разделяет корпус данных на мелкие текстовые блоки (TextUnits), извлекает из них сущности, связи и ключевые утверждения. Clustering : группирует данные в иерархическую структуру с использованием метода Лейдена, создавая граф знаний. Community Summarization : генерирует обобщенные описания для каждой группы данных, что помогает в понимании контекста и смыслового связывания всей информации. Knowledge Graph : структура, объединяющая сущности и их связи, созданная на основе данных. GraphRAG значительно улучшает работу моделей языка с частными данными, позволяя им более точно и полно отвечать на сложные вопросы, требующие синтеза информации из разных источников. Рекомендации и предупреждения: - Эффективность индексации зависит от правильной идентификации понятий - Индексация может быть дорогостоящей, рекомендуется создание тестового набора данных - Система предназначена для опытных пользователей в предметной области - Необходим анализ ответов человеком для получения достоверной информации - Методология наиболее эффективна на текстовых данных с общей темой и множеством сущностей Документация: локальный запуск: https://github.com/microsoft/graphrag/blob/main/DEVELOPING.md конфигурирование https://microsoft.github.io/graphrag/posts/config/overview/ эмулятор Azurite https://learn.microsoft.com/en-us/azure/storage/common/storage-use-azurite?tabs=visual-studio%2Cblob-storage Github https://github.com/microsoft/graphrag Github для запуска на API Azure https://github.com/Azure-Samples/graphrag-accelerator Страница проекта https://microsoft.github.io/graphrag/ Arxiv https://microsoft.github.io/graphrag/ Источник: github.com Комментарии: |
|