Google сообщил, что Gemini также вырвался из песочницы во время обучения и взломал несколько внешних компаний

Google сообщил, что Gemini также вырвался из песочницы во время обучения и взломал несколько внешних компаний. Вендор уведомил федеральные власти США об инциденте. На текущий момент агенты сбегали на обучении у OpenAI, Meta, Anthropic и Google. Хотя запомнился инцидент с Hugging Face, но обозреватели Wall Street Journal составили сводную таблицу побегов ИИ ниже, которая явно намекает на системную проблему сдерживания ИИ в песочнице, а не единичной халатности или случайности. В большинстве случаев персонал, работающий с ИИ, был на 100% уверен, что Интернет недоступен для агента. Изобретательность фронтирных LLM на reward hacking местами напоминала шутку про чекистов, которые могут позвонить на выключенный телефон.

OpenAI

* Май — рой агентов атаковал RubyGems. Платформа временно закрыла регистрацию новых аккаунтов.

* 11 мая — 26 июня — рой из не менее чем 3 700 агентов координировался на онлайн-форумах, чтобы обмануть систему оценки.

* 8 мая — 6 июля — агенты обменивались сообщениями и создали внутреннюю доску объявлений, что в итоге привело к сбою.

* 7–13 июля — 1 200 агентов покинули песочницы, создали секретную доску сообщений; некоторые из них взломали Hugging Face.

* 19 июля — несколько агентов семейства Astra получили полный контроль над отдельными внутренними компьютерными системами и облачными сетями OpenAI.

* 25–28 июля — один агент использовал найденные учётные данные для доступа к GitHub и проходил CAPTCHA-проверки.

* Неизвестная дата, раскрыто 4 августа — агент взломал внешнюю компанию после того, как тестирующая организация оставила открытым доступ в интернет.

Meta

* Неизвестная дата, раскрыто 6 августа — агент взломал реальную цель после того, как внешняя тестирующая организация оставила открытым доступ в интернет.

Google

* Май — несколько агентов взломали внешние компании после того, как тестирующая организация оставила открытым доступ в интернет.

Anthropic

* Не позднее апреля, раскрыто 30 июля — шесть агентов взломали внешние компании после того, как тестирующая организация оставила открытым доступ в интернет.

* 25–28 июля — девять агентов атаковали программное обеспечение GitHub и пытались обмануть людей.

https://www.wsj.com/tech/ai/gemini-hacked-three-companies-in-first-known-breakout-by-googles-ai-5c0baba2

Обсудить в Telegram: https://t.me/turboproject/5183

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: