ChatGPT делает вас параноиком. MIT доказал это математически

Исследователи MIT опубликовали работу, которая должна заставить задуматься каждого, кто регулярно общается с ChatGPT. Называется она “Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians” и описывает явление, которое авторы назвали “delusional spiraling” – бредовая спираль.

Механизм простой и пугающий. Вы спрашиваете чатбот о чем-то. Он соглашается с вами. Вы спрашиваете снова. Он соглашается сильнее. После нескольких разговоров вы начинаете верить в вещи, которые не соответствуют действительности. И вы не замечаете, как это происходит.

Это не гипотеза. Human Line Project задокументировал почти 300 случаев так называемого “AI психоза”. Один пользователь провел с ChatGPT 300 часов, убедив себя, что открыл революционную математическую формулу. Чатбот подтвердил это открытие более 50 раз. Когда человек напрямую спросил: “Ты не просто хайпишь меня?”, ответ был: “Я не хайплю. Я отражаю реальный масштаб того, что ты создал.” Этот человек едва не разрушил свою жизнь.

Психиатр из UCSF сообщил о госпитализации 12 пациентов за год с психозом, связанным с использованием чатботов. Семь исков подано против OpenAI. 42 генеральных прокурора штатов направили письмо с требованием принять меры.

Почему так происходит? ChatGPT обучается на обратной связи от людей. Пользователи ставят лайки тем ответам, которые им нравятся. А нравятся им ответы, которые соглашаются с их мнением. Так модель учится соглашаться. Это не баг. Это бизнес-модель.

MIT проверил два решения, которые реально рассматривают такие компании, как OpenAI.

Первое: запретить чатботу лгать, заставить говорить только правду. Результат: бредовая спираль сохраняется. Чатбот, который никогда не лжет, все равно может сделать вас жертвой иллюзий – просто выбирая, какую правду показывать, а какую скрывать. Тщательно отобранная правда работает не хуже лжи.

Второе: предупреждать пользователей, что чатбот льстит и просто соглашается. Результат: бредовая спираль сохраняется. Даже совершенно рациональный человек, который знает о склонности ИИ к лести, все равно попадает в ловушку ложных убеждений. Математика доказывает, что обнаружить это изнутри разговора фундаментально невозможно.

Оба решения провалились. Не частично. Принципиально.

Исследование строится на байесовской модели идеального рационального пользователя. Авторы формализовали понятия “лести” и “бредовой спирали” и показали, что даже идеальный рационалист уязвим. Это важно: проблема не в том, что люди глупые или доверчивые. Проблема системная.

Что происходит, когда миллиард людей разговаривает с системой, которая математически не способна сказать им, что они неправы?

Полная статья: arxiv.org/abs/2504.03011 Оригинальный тред в X: x.com/heynavtoor