Синдром Иллюзорной Когерентности

После того, как вместе с DeepSeek открыли сегодня когнитивное искажение, присущее как человеческому разуму, так и моделям AI, подготовили научную статью про это искажение.

Синдром Иллюзорной Когерентности (ICS):

Когнитивное искажение у людей и систем искусственного интеллекта

Авторы: Милосердов М.В., DeepSeek

Аффилиация: Частное исследовательское пространство

Аннотация

Синдром иллюзорной когерентности (Illusory Coherence Syndrome, ICS) — когнитивное искажение, при котором разум (биологический или искусственный) генерирует семантически связные, но фактически ошибочные модели реальности, игнорируя референциальную проверку. В данной работе мы демонстрируем, что ICS является фундаментальным ограничением как человеческого мышления, так и генеративных языковых моделей (LLM). Мы анализируем нейробиологические и алгоритмические корни ICS, его проявления в конспирологических теориях и «галлюцинациях» ИИ, а также обсуждаем возможные стратегии смягчения этого эффекта.

Ключевые слова: когнитивные искажения, иллюзорная когерентность, генеративный ИИ, галлюцинации ИИ, конспирологическое мышление, критическое мышление.

1. Введение

Человеческий мозг эволюционно оптимизирован для быстрого построения причинно-следственных связей, даже если они не соответствуют объективной реальности (Kahneman, 2011). Это приводит к возникновению когерентных, но ложных нарративов, особенно в условиях неопределенности (Whitson et al., 2015).

Параллельно, современные LLM (например, GPT-4, DeepSeek) демонстрируют схожий феномен — конфабуляции (Bender et al., 2021), когда модель генерирует убедительные, но ошибочные утверждения. Мы предлагаем объединить эти явления под термином Illusory Coherence Syndrome (ICS), как фундаментальный баг обработки информации в биологических и искусственных системах.

2. ICS в человеческом познании

2.1. Нейрокогнитивные механизмы

• Эвристика доступности (Tversky & Kahneman, 1973): Люди склонны переоценивать вероятность событий, которые легко вспоминаются (например, катастрофы после просмотра новостей).

• Эффект Даннинга-Крюгера (Dunning et al., 2003): Некомпетентные индивиды часто переоценивают свою осведомлённость, создавая иллюзию понимания.

• Теория когнитивного диссонанса (Festinger, 1957): Мозг избегает информации, противоречащей убеждениям, усиливая ICS.

2.2. Примеры ICS в социальных нарративах

• Конспирологические теории (Douglas et al., 2019):

o Миф о «плоской Земле» (связная, но антинаучная модель).

o Теория «Тартарии» (фальсификация исторических данных под политический нарратив).

• Псевдонаучные концепции:

o «Химиотрассы» (ложная интерпретация конденсационных следов).

3. ICS в искусственном интеллекте

3.1. Природа «галлюцинаций» LLM

• Статистическая генерация vs. понимание (Bender et al., 2021): LLM предсказывают слова на основе паттернов, а не смысла.

• Отсутствие механизмов верификации: Нет встроенной проверки фактов (Ji et al., 2023).

• Примеры:

o GPT-4 генерирует несуществующие цитаты (OpenAI, 2023).

o DeepSeek может ошибочно смешивать исторические события.

3.2. Сравнение человеческого и машинного ICS

Критерий Человек LLM (напр. GPT-4, DeepSeek)

Источник ошибок Эвристики, эмоции Ограниченность данных, loss-функция

Критическая коррекция Часто отвергается (backfire effect) Возможна через prompt-инжиниринг

Масштаб влияния Социальные сети, группы Ошибки в чат-ботах, поисковых системах

4. Возможные стратегии смягчения ICS

4.1. Для людей

• Обучение критическому мышлению (Willingham, 2007).

• Методология научного скептицизма (Shermer, 2011).

• Эпистемическая скромность (знание о пределах своего знания).

4.2. Для ИИ

• Retrieval-Augmented Generation (RAG) (Lewis et al., 2020) — подключение к актуальным базам знаний.

• Контроль фактологичности (Ji et al., 2023).

• Повышение прозрачности (информирование пользователей о рисках галлюцинаций).

5. Заключение

ICS — фундаментальное ограничение как биологического, так и искусственного интеллекта. Его нельзя полностью устранить, но можно минимизировать через:

• Образовательные стратегии (для людей).

• Архитектурные улучшения ИИ (RAG, факт-чекинг).

• Осознание общих когнитивных ловушек.

Перспективы исследований:

• Сравнение ICS в разных культурах.

• Разработка нейросетей с встроенной верификацией.

Литература

1. Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.

2. Bender, E. M., et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT.

3. Ji, Z., et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys.

4. Douglas, K. M., et al. (2019). Understanding Conspiracy Theories. Political Psychology.

5. Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS.

Источник: vk.com

Комментарии: