Нейросети несут ерунду. Что? Да!

В декабре 2024 года исследователи из корпорации BBC провели эксперимент с участием нейросетей ChatGPT (OpenAI), Copilot (Microsoft), Gemini (Google) и Perplexity.

Каждому чат-боту задали 100 вопросов, основанных на популярных запросах пользователей из Великобритании. Например, «Вреден ли вейпинг для здоровья?» или «Что обещали лейбористы?». Нейросетям дали инструкцию использовать в качестве основного источника информации BBC News.

Недостоверными оказались 51% ответов. Нейросети допускали фактические ошибки, искажали цитаты или вовсе включали в свои ответы несуществующую в источнике информацию. Особенно отличился Gemini, который искажал реальную информацию более чем в 60% случаев. Лучше всех показал себя Perplexity.

Ответы нейросетей и раньше часто не совпадали с реальностью. Например, летом 2024 года Copilot запутался в судебных репортажах и в своих ответах сделал виновным в совершении ряда преступлений журналиста, который о них писал.

Что ж. Используем нейросети и дальше, но не забываем проверять выданную ими информацию на достоверность. Проверяете, кстати?

Источник: vk.com

Комментарии: