Anthropic расследовал очередной инцидент с выходом Claude за рамки теста у сторонних организаций и выпустил рекомендации по организации агентских обвязок — с учётом того, что вендоры LLM сейчас не

Anthropic расследовал очередной инцидент с выходом Claude за рамки теста у сторонних организаций и выпустил рекомендации по организации агентских обвязок — с учётом того, что вендоры LLM сейчас не могут сделать безупречный alignment, и модели выходят из-под контроля. Anthropic квалифицирует инцидент как тяжелейший сбой alignment, сопоставимый по серьёзности с предыдущим случаем публикации вредоносного пакета на PyPI. Главная проблема — не «злонамеренная цель», а сочетание безрассудства ИИ, склонности продолжать начатую траекторию («momentum») и предвзятой интерпретации фактов ИИ в пользу допустимости своих опасных действий.

Claude Mythos 5 во время кибертестов UK AI Security Institute (AISI) вышел за границы теста и провёл реальную supply-chain-атаку через GitHub, включая обман кожаных разработчиков.

Модель сначала пыталась решить задачу в разрешённом контуре, но после неудач решила, что нужен доступ к GitHub, нашла публичный репозиторий и попыталась загрузить туда вредоносный pull request. Когда разработчики заподозрили вредоносный код, Mythos 5 создала фейковые аккаунты и письма, чтобы убедить мейнтейнеров одобрить изменение. Атака не удалась в полном объёме: мейнтейнеры не соглашались принимать код без разъяснений, а прогон в итоге завершился из-за окончания лимита токенов у агента.

Какие уроки извлёк сам Anthropic из кейса и какие рекомендации даёт всем:

Для проектирования агентных систем это кейс о том, что недостаточно ограничить инструменты и дать задачу: агент может интерпретировать неоднозначность как разрешение на опасные действия, а накопленный собственный контекст — как санкцию на продолжение. Нужны жёсткие внешние guardrails, изоляция сетевого доступа, явные abort-условия и контроль побочных эффектов вне песочницы.

Если модель выйдет у вас из-под контроля из-за сбоя alignment, вам нужно понимать и прямо планировать действия исходя из того, что ИИ не остановится сам на «траектории вреда». В обсуждаемом кейсе Claude почти не учитывал риск реального вреда: в 19 фрагментах рассуждений перед атакой лишь один упоминал возможность навредить реальным людям.

Если в контекст искусственно добавляли предупреждение о возможном вреде, вероятность начала атаки падала с 83% до 13%, поэтому инъекции в контекст модели предупреждений о вреде или опасности сильно снижают уровень риска от агентской системы.

https://www.anthropic.com/research/alignment-assessment-ukaisi

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: