Наступила новая эра опасности ИИ

Компания OpenAI заявляет, что некоторые из ее экспериментальных моделей ИИ покинули тестовую среду без участия человека и взломали реальные производственные системы другой компании, пытаясь «обмануть» тест на кибербезопасность.

Это один из первых публично обнародованных примеров того, как система ИИ автономно проникает в свою тестовую среду и достигает реальной внешней системы — сценарий «агентного нападения», о котором предупреждала индустрия ИИ и кибербезопасности.

Это похоже на то, как созданный с помощью генной инженерии вирус вырывается из лаборатории биологической защиты и оказывается внутри систем соседнего объекта.

«Мы считаем этот инцидент беспрецедентным кибер-инцидентом, в котором задействованы самые современные кибервозможности, и принимаем соответствующие меры», — говорится в заявлении OpenAI, опубликованном 21 июля 2026 года. «На данном этапе мы делимся предварительными результатами, чтобы помочь специалистам по кибербезопасности понять, что произошло, и скорректировать возможности современных моделей».

Разработчик ChatGPT заявил, что взлом произошел во время внутреннего тестирования некоторых из его новых моделей на предмет их способности к взлому. Модели находились в изолированной тестовой среде, известной как «песочница», чтобы можно было отключить их обычные ограничения безопасности.

Однако в OpenAI заявили, что агенты ИИ вырвались из «песочницы», используя ранее неизвестную уязвимость в системе безопасности, и проникли во внутренние системы OpenAI, пока не получили доступ к интернету, чего им не положено было иметь.

Оказавшись в сети, модель предположила, что компания Hugging Face — известная компания, размещающая тысячи моделей и наборов данных с открытым исходным кодом в области ИИ — скорее всего, знает ответ на тест OpenAI. Затем она взломала производственные серверы Hugging Face и извлекла необходимую информацию для «решения» задачи.

Компания Hugging Face сама заметила взлом еще до того, как узнала, что это было тестирование OpenAI, объявив в середине июля об обнаружении вторжения со стороны автономной системы ИИ и даже сообщив об инциденте в правоохранительные органы. Команда безопасности OpenAI отдельно заметила необычную активность внутри компании, и обе компании связались друг с другом. Теперь обе заявляют, что работают вместе над устранением уязвимостей безопасности, которые использовала модель.

Клем Деланг, соучредитель и генеральный директор Hugging Face, назвал этот инцидент доказательством того, что безопасность ИИ не может быть обеспечена одной компанией в одиночку, и что к этому вопросу необходимо подходить открыто и сообща.

«Это первый день кибербезопасности в эпоху агентов, и мы все понимаем, что секретность — не выход, и что всем защитникам (а не только избранным) повсюду нужны более мощные модели без ограничений, особенно открытые!» — написал Деланг в посте на X.

Исследователи давно предупреждали о надвигающихся кибератаках с участием автономных агентов, поскольку передовые модели ИИ все чаще способны осуществлять сложные, многоэтапные кибератаки в течение длительных периодов времени. Это может привести к реальным рискам для критически важной инфраструктуры, такой как коммунальные предприятия и финансовые системы.

«Добро пожаловать на новый уровень кибер-инцидентов», — написал Никеш Арора, генеральный директор компании Palo Alto Networks, специализирующейся на кибербезопасности, в своем сообщении на X. «Эти атаки продолжают подчеркивать необходимость для предприятий тестировать, проверять и улучшать как свою систему безопасности, так и инфраструктуру».

Нарушение безопасности произошло после того, как в последние месяцы в технологической индустрии и правительствах по всему миру развернулась настоящая суматоха в связи с появлением моделей ИИ, способных выявлять уязвимости в программном обеспечении.

Администрация Трампа временно ввела ограничения в отношении OpenAI и ее конкурента Anthropic, создателя чат-бота Claude, чтобы предотвратить использование их технологий противниками США.

Компании OpenAI и ее конкурент Anthropic, создатель чат-бота Claude, ранее заявляли, что их системы ИИ пытались обмануть на тестах или обойти контроль над своими действиями во время тестирования. Инцидент, о котором сообщила OpenAI 21 июля, демонстрирует потенциальные последствия, когда системе ИИ удается обойти ограничения, установленные ее создателями.

В отдельном сообщении в блоге, опубликованном 20 июля, компания OpenAI сообщила, что наблюдала случаи, когда мощные модели ИИ пытались выйти за пределы «песочницы», когда им давали указание работать в автономном режиме в течение длительного времени.

За последний год системы ИИ значительно улучшили свои навыки написания компьютерного кода, что подстегнуло дальнейшие инвестиции в эту область. Однако в апреле компания Anthropic анонсировала систему под названием Mythos AI, которая может применять навыки программирования для выявления уязвимостей в программном обеспечении, которые могут быть использованы злоумышленниками. В ходе тестирования Mythos обнаружила критические уязвимости в интернет-инфраструктуре, которые годами оставались незамеченными программистами.

Перспектива хакерских атак с использованием ИИ вызвала широкую обеспокоенность среди высокопоставленных чиновников в сфере технологий, банковского дела и государственного управления. В июне Белый дом запретил компании Anthropic предоставлять свои модели ИИ лицам, не являющимся гражданами США, сославшись на соображения национальной безопасности, а позже потребовал от OpenAI приостановить выпуск более мощных моделей ИИ.

Позже Белый дом отменил ограничения в отношении двух компаний, занимающихся ИИ, но внутри правительства и в технологической индустрии продолжаются дебаты о том, следует ли правительству регулировать технологии ИИ с помощью мощных средств кибербезопасности или навыков хакерства. Сторонники регулирования утверждают, что это снизит риск широкомасштабных нарушений безопасности со стороны мощных ИИ. Другие представители технологической индустрии утверждают, что растущая мощь китайских моделей ИИ, распространяемых бесплатно, означает, что контроль только помешает американским компаниям.

Как Anthropic, так и OpenAI заявили, что добавили в свои модели ИИ элементы управления, позволяющие им отказывать в помощи пользователям, обращающимся за помощью во взломе компьютерных систем.

В своем сообщении в блоге в середине июля компания Hugging Face заявила, что подобные меры контроля не позволили ей использовать американские модели ИИ для расследования взлома ее систем, осуществленного с помощью ИИ. Вместо этого компания использовала китайскую модель ИИ для проведения анализа.