Почему AI-агенту мало просто «дать доступ к данным»

Вижу эту ошибку каждый день: человек решает сделать умного агента по базе знаний компании. Он берет выгрузку из Notion на 1000 страниц, корпоративный регламент в PDF, засовывает всё это в промпт (или прикрепляет файлом) и пишет: «Изучи это и отвечай на вопросы клиентов».

Агент первые два вопроса отвечает нормально, а на третий начинает нести откровенную дичь, путать тарифы и придумывать правила, которых нет.

Вы злитесь: «Я же дал тебе все данные, тупая ты ИИшка!» ?

Почему это не работает?

Существует проблема, которая в AI-тусовке называется «Lost in the Middle» (потеря в середине). Если выпихнуть в контекстное окно нейронки огромный лонгрид, она отлично запомнит начало текста, неплохо — конец, но полностью «забудет» или проигнорирует то, что было в середине. Плюс, чем больше контекста вы скармливаете за один раз, тем дороже вам обходится каждый запрос (токены улетают тысячами) и тем дольше агент «думает».

Как делать правильно: RAG (Retrieval-Augmented Generation)

Вместо того чтобы заставлять агента читать всю библиотеку каждый раз, когда его спрашивают, сколько стоит доставка, мы учим его пользоваться картотекой.

Вот реальный пайплайн, который работает в проде и который нужно собирать:

1. Дробим данные (Chunking). Вы берете свой регламент и через код режете его на маленькие кусочки (чанки), скажем, по 500-1000 символов.

2. Превращаем в векторы (Embeddings). Каждый кусочек текста мы прогоняем через специальную модель (например, дешевую и быструю text-embedding-3-small от OpenAI). Модель превращает текст в набор цифр: вектор. Для нейронки это координаты смысла.

3. Складываем в базу. Закидываем эти векторы в векторную базу данных. Забудьте про Excel, тут нужны ChromaDB, Pinecone или Qdrant.

4. Умный поиск. Когда клиент пишет: «Как оформить возврат?», агент не читает весь PDF. Он берет вопрос клиента, превращает его в такой же вектор и мгновенно находит в векторной базе топ-3 куска текста с похожими «координатами смысла».

5. Ответ. Агент отправляет в LLM только сам вопрос и эти 3 найденных абзаца. Всё. Ответ точный, галлюцинаций ноль, стоит копейки.

Что делать прямо сейчас (практический совет):

Открывайте ноут, запускайте Cursor.

Если хотите собрать свою первую RAG-систему за вечер, скажите Cursor'у: «Напиши мне скрипт на Python, используя фреймворк LangChain. Возьми вот этот PDF-файл, разбей его на чанки по 1000 токенов с overlap (перекрытием) в 200 токенов. Сделай эмбеддинги через OpenAI и сохрани локально в векторную базу Chroma. Затем напиши функцию поиска по этой базе».

Вы получите рабочий кусок кода, который станет «мозгом» вашего будущего агента.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: