Привет, это вопросы с собеседований, на которые нужно знать ответы, чтобы попасть на позицию мечты ?

Что такое агент и чем он отличается от LLM?

LLM — статистическая модель, генерирующая текст по входному контексту; у неё нет встроенной долгосрочной логики планирования или управления внешними инструментами, если только это не реализовано в окружении.

Агент — это система, где LLM — её ядро и вокруг неё есть инфраструктура: контроллер/планировщик, менеджер состояний, интерфейсы к инструментам (API, база знаний, внешний код) и так далее.

Чем ReAct отличается от «графового агента» (graph-based agent)?

Из названия Reasoning and Acting: модель чередует короткие фрагменты «размышления» (thought) и «действия» (action) в одном последовательном диалоге; каждое следующее действие опирается на предшествующее reasoning и результат внешнего вызова.

Графовый агент — обычно строит и использует граф представлений (узлы = факты/задачи/подзадачи, ребра = связи/зависимости), может заранее планировать маршрут по графу, параллельно развивать ветви, выполнять статический/структурный анализ шагов. В графовый подход шаги чаще задаются как вершины и зависимости, а не только как линейная цепочка reasoning?action.

Как оценивать сгенерированный текст?

BLEU и ROUGE не всегда подходят для оценки генеративных ответов, потому что требуют эталонных референсов и плохо коррелируют с фактической корректностью, логикой и прагматикой открытых ответов.

Вместо BLEU/ROUGE можно использовать матрицу ошибок и вычислять precision/recall/F1 по важным классам ошибок (например, FACT_ERROR, MISSING_STEP, HALLUCINATION).

Комбинируем автоматические проверки (фактчекинг, безопасность) с выборочной человеческой аннотацией и анализируем ошибки по срезам для приоритизации улучшений.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: