Как и почему «бредит» нейросеть?

Ответ на этот вопрос ищет студент института математики интеллектуальных систем КГУ Алексей Митрофанов. Он изучает галлюцинации ChatGPT-4.

— Галлюцинации в контексте ChatGPT-4 представляют собой ситуации, когда модель генерирует ответы, содержащие неверные или выдуманные факты, которых не было в обучающих данных. То есть в результате обработки запроса пользователей, модель может создавать информацию, не имеющую отношения к реальности или несоответствующую контексту, — рассказывает Алексей.

ChatGPT-4 был выбран для изучения, потому что наиболее широко распространен, и на его основе созданы подобные (пример: Gigachat, Bing AI).

Алексей вместе с научным руководителем Еленой Поляковой ставили задачу исследовать, почему происходит придумывание информации, а затем дать примеры, когда нейронная сеть на заданные вопросы начинает «бредить».

— По результатам практического изучения стало понятно, что в модели Gigachat предусмотрен ответ, указывающий на несовершенство данной разработки, кроме того, бот рекомендует дополнительно проверить информацию. В Bing AI ошибки в ответах случаются частенько, но при том он не пытается исправиться в ответе, а в некоторых испытаниях даже начинал дерзить.

«Не выключайте» свою голову добровольно, иначе искусственный интеллект может увести вас не той дорогой, о которой вы мечтали.

Источник: vk.com

Комментарии: