Как заставить нейросеть отвечать за свои слова?

Большие языковые модели хороши всем, кроме одного: они сочиняют правдоподобную отсебятину, даже когда подключены к базам знаний через RAG. Обычные методы борьбы с галлюцинациями требуют либо больших массивов размеченных данных, либо тяжёлых вычислений с многократной генерацией ответов.

Учёные Сколтеха и Центра практического искусственного интеллекта Сбера нашли куда более элегантное решение — метод TOHA (TOpology-based HAllucination detector).

Вместо того чтобы мучить модель лишней работой, подход заглядывает внутрь и анализирует топологическую структуру её карт внимания с помощью характеристики MTop-Div. Если граф ответов расходится с контекстом, алгоритм подсвечивает ошибку.

Метод обходится без обучения дополнительных классификаторов и огромных массивов размеченных данных.

По точности разработка легко конкурирует с ресурсоёмкими аналогами вроде SelfCheckGPT.

Инструмент уже встроен в открытую библиотеку SIRIN от Сбера и готов к защите корпоративных баз знаний от ИИ-галлюцинаций.

Работа принята в основную программу A* конференции ACL 2026

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: