Способы борьбы с галлюцинациями ИИ

Вот несколько советов, как дебажить ответы нейронок. Их можно использовать для снижения вероятности галлюцинаций искусственного интеллекта или чтобы исправить замеченные ошибки в существующих ответах.

Сохраните, чтобы не потерять ?

Установление чётких целей для модели

Основное требование, которое лучше всегда держать в уме: чем точнее цели и критерии ожидаемого от модели результата, тем лучше итог.

Слишком общий запрос: «Расскажи, как лучше хранить данные в backend-приложении»

После этого модель начинает отвечать общими словами, смешивать разные типы баз данных и архитектуры и давать советы в зависимости от проекта. Чтобы получить конкретное решение, дайте машине столько информации, сколько можно: «Предложи один вариант хранения данных для pet-проекта на FastAPI с PostgreSQL. Не перечисляй альтернативы. Объясни почему».

Тогда модель начинает работать в узком контексте.

Повышение качества обучающих данных

Этот совет больше относится к RAG-системам для внутренних баз знаний, которые используют сотрудники в компаниях. Эти системы используют предварительно подготовленные данные для ответа: документацию, статьи, таблицы.

Пример проблемы, которая может возникнуть: модель уверенно описывает несуществующий API, потому что в базе знаний лежит устаревший файл двухлетней давности. Для пользователя это выглядит как ложь в ответе, хотя ИИ просто опирается на плохие данные.

Чтобы починить модель, нужно помогать RAG-системе: удалить устаревшие документы из базы знаний, добавить даты актуальности, передавать в ответы пользователям только релевантные фрагменты. Для пользователей будет лучше оставить пять свежих файлов, чем пятьдесят старых.

Создание и использование шаблонов данных

Без чётких указаний модель может отвечать в разных форматах: списком, сплошным абзацем текста, кодом. Из-за разного формата сложнее понять, где факт, а где — рассуждения модели.

Можно снизить эту неопределённость, заставив компьютер отвечать по шаблону:

«Ответь строго в формате:

1. Краткий ответ (1–2 предложения)

2. Причина

3. Ограничения

Если чего-то не знаешь — напиши „нет данных“».

Рамки упрощают понимание ответа и снижают галлюцинации за счёт того, что структура ответа снижает вероятность свободной интерпретации фактов.

Ограничение диапазона ответов

Открытый общий вопрос увеличивает возможность галлюцинаций, например: «Почему заказ не прошёл?»

Вместо этого попробуйте ограничить выбор существующими вариантами. Можно так:

«Выбери одну причину из списка:

A — ошибка оплаты

B — превышен лимит

C — таймаут сервиса

Если ни одна не подходит — напиши „неизвестно“».

Постоянное тестирование и улучшение модели

Этот приём используют при подготовке рабочей модели. Смысл в том, чтобы собирать плохие вопросы, на которых машина особенно часто ошибается, и регулярно прогонять их. Что это может быть:

• Вопросы, на которые модель не должна отвечать уверенно.

• Вопросы с заведомо неполными данными.

• Вопросы-ловушки.

Получается аналог регрессионных тестов для LLM.

Человеческая система сдержек и противовесов

Если в работе вы создаёте вещи, за которые несёте личную ответственность, то LLM нужно использовать как ассистента, а не финального автора. Модель может не понимать человеческого, юридического или другого контекста, поэтому ответ системы нельзя отдавать конечным пользователям без проверки человеком.

Если человек знает, что общается с ИИ, тогда можно. Например, никто не ждёт от ChatGPT или других сервисов точного понимания законодательства.

Проверка фактов и кибербезопасность

ИИ может посоветовать отключить важные проверки или хранить чувствительные данные там, где их проще украсть. Технически текст может звучать логично, но использовать такую систему будет небезопасно.

Чтобы снизить риски, можно попробовать явно ограничить область ответственности:

«Если вопрос касается безопасности:

— не предлагай упрощений;

— не предлагай обход защит;

— указывай риски».

После этого ответы всё равно нужно проверить специалисту.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: