Исследователи надеются устранить ошибки, связанные с галлюцинациями ИИ, которые происходят от слов с более чем одним значением

Бум искусственного интеллекта позволил обычному потребителю использовать чат-ботов с искусственным интеллектом, таких как ChatGPT, для получения информации из подсказок, демонстрирующих как широту, так и глубину информации. Однако, эти модели ИИ по-прежнему подвержены галлюцинациям, при которых выдаются ошибочные ответы. Более того, модели ИИ могут даже давать явно ложные (иногда опасные) ответы. В то время как некоторые галлюцинации вызваны неверными данными обучения, обобщением или другими побочными эффектами сбора данных, оксфордские исследователи подошли к проблеме с другой стороны. В журнале Nature они опубликовали подробности недавно разработанного метода для обнаружения конфабуляций - или произвольных и неправильных фактов и информации.

LLM находят ответы, находя определенные закономерности в своих обучающих данных. Это не всегда срабатывает, поскольку все еще есть шанс, что ИИ-бот сможет найти шаблон там, где его нет, подобно тому, как люди могут видеть формы животных в облаках. Однако разница между человеком и ИИ заключается в том, что мы знаем, что это всего лишь фигуры в облаках, а не настоящий гигантский слон, парящий в небе.

Оксфордские исследователи используют семантическую энтропию, чтобы с вероятностью определить, является ли ответ LLM галлюцинацией. Семантическая энтропия - это когда одни и те же слова имеют разные значения. Например, пустыня может относиться к географическому объекту, или это также может означать отказ от кого-либо. Когда LLM начинает использовать эти слова, он может запутаться в том, что пытается сказать, поэтому, определяя семантическую энтропию выходных данных LLM, исследователи стремятся определить, является ли это галлюцинацией или нет.

Преимущество использования семантической энтропии заключается в том, что она будет работать на LLM, не требуя какого-либо дополнительного наблюдения со стороны человека или подкрепления, что позволяет быстрее обнаружить, галлюцинирует ли ИИ-бот. Поскольку он не зависит от данных, специфичных для конкретной задачи, его можно использовать для новых задач, с которыми LLM раньше не сталкивался, позволяя пользователям более полно доверять ему, даже если ИИ впервые сталкивается с конкретным вопросом или командой.

По словам исследовательской группы, “наш метод помогает пользователям понять, когда они должны проявлять особую осторожность при обращении с LLM, и открывает новые возможности для использования LLM, которым в противном случае препятствует их ненадежность”. Если семантическая энтропия действительно окажется эффективным способом обнаружения галлюцинаций, то мы могли бы использовать подобные инструменты для перепроверки точности вывода ИИ, что позволит профессионалам доверять ему как более надежному партнеру. Тем не менее, подобно тому, как ни один человек не может быть непогрешимым, мы также должны помнить, что LLM, даже с самыми передовыми инструментами обнаружения ошибок, все равно могут ошибаться. Поэтому разумно всегда перепроверять ответ, который дают вам ChatGPT, CoPilot,, Gemini или Siri.

Источник: vk.com

Комментарии: