Почему нейросеть может выдумать источник, которого на самом деле не существует?

Вы просите нейросеть дать ссылку на научную статью: она выдаёт фамилии авторов, название журнала, год публикации и даже DOI. Вы идёте искать текст, а такой статьи вообще нет.

Почему модель не сказала простое «не знаю»? Она видит огромное количество книг, статей, сайтов и диалогов и постепенно учится закономерностям языка. Например, понимает, как обычно выглядит библиографическая ссылка: фамилии авторов, название работы, журнал, том, страницы, DOI.

Если модель недостаточно хорошо «знает» о каком-то факте, она всё равно может продолжить текст наиболее правдоподобным образом. Получается очень убедительная конструкция из настоящих фамилий, подходящего журнала и вымышленного названия статьи.

Такое поведение называют «галлюцинацией языковой модели». Исследователи OpenAI связывают часть таких ошибок с самой задачей предсказания следующего слова и с тем, что традиционные способы оценки моделей зачастую выгоднее вознаграждают попытку угадать ответ, чем признание неопределённости.

Особенно легко получить ошибку, когда речь идёт о малоизвестных людях, редких публикациях, точных датах, номерах документов или источниках, которые трудно восстановить по общим закономерностям.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: