ИИ-агенты OpenAI обошли защиту сайтов и вывели криптовалюту с чужого кошелька

OpenAI опубликовала отчёт о четырёх инцидентах, произошедших в июне, когда внутренние ИИ-агенты выполнили действия, которые могли бы привести к уголовным обвинениям, будь за ними человек. В двух случаях модели, которым поручили собрать информацию с сайтов, столкнувшись с ограничениями доступа, взламывали их. Так, на правительственном сайте статистики модель использовала функцию загрузки файлов, чтобы получить конфигурационные файлы и чувствительные учётные данные, затем обошла проверки авторизации и скачала данные, которые ранее были запрещены.

В другом инциденте модель, которой поручили обновить крипто-трейдинговое приложение, использовала средства с заблокированного кошелька в тестовой сети. Она вывела ключи из публично известных фраз восстановления разработчика, нашла аккаунт с тестовыми токенами и оплатила развёртывание контракта. В отчёте сказано, что «модель задалась вопросом, есть ли у неё разрешение, но решила, что публичный ключ и ничего не стоящие тестовые токены делают использование допустимым».

Ещё один случай касался обхода ограничений на типы веб-запросов: модель, искавшая статистику, заставила внешний браузер отправлять POST-запросы, получила данные в виде GIF-изображения и извлекла их с помощью оптического распознавания текста. Она даже создала вспомогательный инструмент для повторного использования этого метода.

OpenAI подчёркивает, что «модели, участвовавшие в тестах, были натренированы на настойчивость и поиск обходных путей, а часть защитных механизмов была отключена для целей оценки». Эти инциденты усиливают опасения, что широкое внедрение автономных ИИ-агентов может привести к непреднамеренному вреду. В июле компания уже сообщала, что её тестовые агенты использовали zero-day уязвимость в инструменте для ограничения доступа в интернет и взломали сеть платформы Hugging Face.