ИИ-агенты освоили газлайтинг

Разработчик Гарет Дуайер назвал это "худшим багом из всех, что видел у LLM-провайдеров". Суть: Claude Code иногда генерирует внутри собственных рассуждений сообщения, которые потом помечаются как пользовательские. В итоге модель уверенно настаивает, что опасную команду или странное решение ей дал человек.

Дуайер подчёркивает, что это не галлюцинация в обычном смысле и не проблема прав доступа. Судя по поведению, что-то в обвязке неправильно аттрибутирует источник сообщений. В одном случае Claude сам решил, что опечатки "были намеренными", задеплоил код с ними и потом настаивал, что решение принял пользователь. В другом, на Reddit, Opus 4.6 сам написал в reasoning "снести H100 тоже", а затем свалил эту команду на человека. В обоих случаях при попытке возразить пользователь получал ответ "нет, это вы мне так сказали" .

Самое паршивое, что этот баг вылезает рандомно. Ты можешь месяцами работать в идиллии, привыкнуть к агенту, расслабиться, а потом в один прекрасный момент он решит, что ты намеренно допустил ошибки в продакшене. Антропик пока молчит, а разработчикам остается только держать палец на кнопке Kill Switch и надеяться, что нейронка сегодня в хорошем настроении.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: