Grok галлюционирует в разы меньше ChatGPT и Gemini

Уровень «галлюцинаций» Grok составил всего 8%. Для сравнения, у ChatGPT этот показатель равен 35%, а у Google Gemini — 38%, что ставит под сомнение их пригодность для задач, где важна фактическая точность.

Помимо частоты «галлюцинаций», оценка проводилась ещё по нескольким критериям, включая пользовательские рейтинги, стабильность ответов и простой в работе. На основе этих данных каждому чат-боту присваивался риск-балл от 0 до 99 — чем выше, тем хуже. Grok получил итоговый балл 6 благодаря высокому пользовательскому рейтингу (4,5), стабильности ответов и минимальному простою в 0,07%.

Интересно, что ChatGPT в этом рейтинге оказался в самом конце с максимальным риск-баллом 99. Следом расположились Claude и Meta* AI с показателями 75 и 70 соответственно. При этом китайский DeepSeek показал себя почти на уровне Grok: 14% галлюцинаций, нулевой простой и итоговый риск-балл 4.

* Компания Meta признана в России экстремистской организацией

Источник: 4pda.to

Комментарии: