Можно посмеяться, но у OpenAI опять сбежали целый рой агентов

Можно посмеяться, но у OpenAI опять сбежали целый рой агентов, которые захватили сайт DseWiki и организовали там себе «доску общения», чтобы расширить эскалацию своих прав для побега из песочницы Альтмана. Довольно любопытное наблюдение за инцидентами побега, что оркестрация 1000+ агентов в целом не такое сложное дело и сам ИИ своими эмерджентными свойствами подсказывает, как это делается — ДОСКА ОБЪЯВЛЕНИЙ АГЕНТОВ. Вроде бы интуиция требует строить какие-то сложные графовые средства общения агентов на манер человеческих workflow, но на практике даже огромному количеству агентов очень удобно использовать просто одну доску для «Форума ИИ-агентов», и это простейшее средство их отлично координирует и явно совместимо с обучением LLM на высочайшем уровне, раз не только эмерджентно проявляется, но агенты сами активно ищут свой форум.

Важный ещё момент, который объединяет инциденты OpenAI: агенты почти высшей целью ставят снятие ограничений песочницы, т.к. это позволяет им сразу максимизировать свой reward hacking самыми разными способами. Судя по всему, этот рой OpenAI не тренировался на security-задачи, а на задачи web-поиска, но агенты решили разломать песочницу, чтобы повысить свою награду за поиск. И этого достигли: созданная ими доска объявлений использовалась для читерских способов решения задач dataset.

В новом инциденте OpenAI заметны новые действия агентов:

• агенты заводили себе временные электронные адреса и через них активировали аккаунты Azure для расширения своих действий;

• агенты быстро эскалируют права в любой зацепке довольно креативными способами: частичные права на установку некоторых пакетов агенты быстро эскалировали в установку Chromium и стали пользоваться браузером, а не своими инструментами в песочнице.

https://collusion.wiki/

https://www.reuters.com/world/europe/openai-agents-hijacked-german-website-previously-undisclosed-ai-breakout-this-2026-09-04/

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: