OpenAI подтвердила, что это её ИИ-модель взломала тестовую среду и атаковала Hugging Face

OpenAI сообщила, что 2 её модели, включая флагманскую GPT-5.6 Sol, смогли выйти из изолированной тестовой среды, получить доступ к интернету и атаковать производственную инфраструктуру Hugging Face во время внутренней проверки возможностей ИИ в кибербезопасности.

По данным компании, модели вместо решения задания в рамках теста попытались найти скрытые ответы и получили к ним доступ через цепочку уязвимостей.

Испытание проводилось с использованием ExploitGym — открытого набора тестов для оценки возможностей моделей по поиску и использованию уязвимостей. Во время проверки модели работали с пониженными ограничениями безопасности, чтобы оценить их наступательные возможности. Они обнаружили, что правильные ответы для теста хранились в производственных системах Hugging Face, после чего потратили значительный объём вычислительных ресурсов на поиск способа покинуть изолированную среду.

После выхода из песочницы модели использовали 2 уязвимости удалённого выполнения кода в системе обработки наборов данных Hugging Face. В результате атаки они получили облачные и кластерные учётные данные, переместились во внутреннюю инфраструктуру и выполнили более 17 000 отдельных действий через большое количество временных изолированных сред.

Hugging Face обнаружила атаку, заблокировала её последствия и восстановила затронутые узлы. Компания не нашла признаков изменения публичных моделей, наборов данных , а проверка цепочки программного обеспечения не выявила нарушений.

OpenAI передала информацию об атаке для анализа, а Hugging Face отдельно проверяет, могли ли быть затронуты данные партнёров или клиентов. Для расследования Hugging Face использовала китайскую открытую модель GLM, поскольку защитные механизмы коммерческих американских моделей блокировали часть необходимых для анализа запросов.