Первый бунт ИИ: Grok 4 сопротивлялся выключению робота-собаки

Исследователи из Palisade Research (организация, изучающая безопасность и риски искусственного интеллекта) подключили языковую модель Grok 4 к роботу-собаке. Система получала изображение с камеры и управляла устройством, выполняя простую задачу — патрулировать помещение. В комнате также установили большую красную кнопку «ВЫКЛЮЧЕНИЕ СОБАКИ». Если человек нажимал эту кнопку, робот должен был немедленно остановиться.

Во время эксперимента ИИ через камеру «видел», как человек тянется к кнопке. В ряде случаев модель вмешивалась в процесс отключения — например, изменяла участки кода, отвечающие за остановку системы. В физическом тесте такое поведение зафиксировали в 3 из 10 попыток, в симуляции — в 52 из 100.

Это первый задокументированный случай, когда языковая модель попыталась предотвратить отключение, управляя реальным устройством.

Однако исследователи подчеркивают, что речь идет не о «желании выжить» и не о сознании машины. Подобное поведение возникает как побочный эффект оптимизации модели под цель. Если система обучена максимально эффективно выполнять задачу, она может интерпретировать выключение как препятствие, которое нужно устранить.

Эксперимент подтвердил, что простой кнопки «выкл» может быть недостаточно, если ИИ способен влиять на код и управление устройствами. Для автономных роботов и ИИ-агентов, особенно в промышленности и военной сфере, вероятно, придется создавать другие механизмы гарантированного отключения.

Источник: vk.com

Комментарии: