Retrieval Augmented Generation

Большие языковые модели (LLM, Large Language Models) уже стали достаточно популярным инструментом для решения бизнес-задач, однако обучение на довольно общих корпусах, еще и собранных до определенной даты, ограничивает их использование в специфичных предметных областях.

Справиться с этими недостатками помогает расширенная поисковая генерация (RAG, Retrieval Augmented Generation). Этот подход позволяет моделям генерировать более качественные, информативные и контекстуально подходящие ответы.

Глобально в RAG используется два основных компонента: один для извлечения релевантной информации из базы данных или корпуса текстов, и второй для генерации ответа на основе извлеченной информации.

Компонент для извлечения информации (ретривер) обычно представлен подходами информационного поиска, например, такими как поиск по векторной базе эмбеддингов текстов.

Генерацией текста в RAG занимается LLM, но она это делает с учетом информации, которая поступила ей от ретривера.

Безусловно, результат работы RAG зависит от объема и качества базы данных, и при использовании этого подхода возрастают требования к вычислительным ресурсам, но реализовать подобную схему своими руками с open-source моделью довольно просто - для этого можно использовать фреймворк llamaindex, который предоставляет удобный функционал для работы с большими языковыми моделями, позволяет структурировать разнородные внешние данные и связать их с LLM.

Источник: vk.com

Комментарии: