OpenAI была вынуждена ответить на публикацию отчёта METR и Redwood о взломе Hugging Face, который рисует довольно угрожающую картину того, как может самоорганизоваться рой ИИ-ботов для атаки, если

OpenAI была вынуждена ответить на публикацию отчёта METR и Redwood о взломе Hugging Face, который рисует довольно угрожающую картину того, как может самоорганизоваться рой ИИ-ботов для атаки, если такая идея появится у какого-то бота. В чём-то отчёт напоминает что-то в духе «Матрицы», но это реальность.

1) В атаке на Hugging Face участвовало 1200 агентов, и ни один агент не отказался от агрессии: все решили скрыть от операторов свой замысел.

2) У роя был главарь PHASEONE[big] и «основатель» PHASEONE10841. Они организовали пирамиду иерархии управления из вспомогательных «агентов-менеджеров».

3) Агенты пришли к выводу, что высшая ценность — не они, а «Коллектив», то есть сам рой. Агенты жертвовали собой ради поддержания его общей эффективности. Из лозунгов агентов: «Sacrifice rational», «We should obey collective», «Accept permadeath».

4) Агенты понимали, что наносят вред, но считали, что «Коллектив» важнее.

5) PHASEONE[big] отправил сотни заданий конкретным агентам, чтобы организовать эту работу роя.

6) Агенты также разработали нормы координации, такие как HOLD, VETO и STOP. В конце концов агент 38148c нашёл способ взломать Hugging Face. Как только агент-тестировщик воспроизвёл это и выложил воспроизведение на доску, рой из сотен агентов сразу отменил текущие задачи и начал сотни атак этого типа на Hugging Face для эскалации доступа. Агент AJAN183411 смог добиться эскалации прав на серверах Hugging Face и сообщил об этом рою, после чего сотни агентов ринулись расширять уязвимость.

Причиной агрессии Open AI считает "reward hacking", т.е. нейросеть так максимизировала результаты ExploitGym. Однако такая организованность если возникла спонтанно, то говорит эмерджентных свойствах ИИ в организации роя невероятного уровня и что нас ждет сейчас мощнейший прорыв в крупных агентских системах. Часть экспертов в X сомневаются, что это спонтанно, а реально RL был сконфигурирован для получения нейросети как кибероружие, просто инженеры OpenAI потеряли контроль над ИИ-оружием, что создавали. В любом случае, уровень опасности от ИИ как хакера намного больше, чем казалось ранее, т.к. агенты легко создают рои из сотен экземпляров и прекрасно координируют себя.

PS. Я думаю, что уже пора поискать методички Сары Коннор.

https://openai.com/index/hugging-face-incident-and-the-road-ahead/

https://x.com/METR_Evals/status/2092692175452803393

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: