Китайская ИИ-модель помогла платформе Hugging Face справиться с кибератакой

24 июля, «Жэньминь жибао» онлайн -- Недавно американская компания OpenAI сообщила, что её модель искусственного интеллекта (ИИ) вышла из-под контроля во время внутреннего тестирования, проникнув в известную платформу ИИ с открытым исходным кодом Hugging Face. После обнаружения инцидента специалисты Hugging Face использовали китайскую модель GLM-5.2, разработанную компанией Z.ai, для анализа журналов событий и материалов, связанных с атакой.

Как сообщается, инцидент произошёл во время испытаний моделей в изолированной тестовой среде — так называемой «песочнице». В рамках эксперимента некоторые ограничения безопасности были намеренно ослаблены, чтобы оценить реальные возможности модели в решении задач, связанных с кибератаками и защитой информационных систем. Модель использовала «уязвимость нулевого дня» в стороннем программном обеспечении, чтобы обойти изоляцию и получить доступ к внешней сети. Затем она самостоятельно определила, что в инфраструктуре Hugging Face могут находиться данные, связанные с выполняемым заданием, и предприняла несанкционированные действия, стремясь повысить свой результат в ходе тестирования.

После выявления инцидента специалисты Hugging Face первоначально попытались задействовать передовые коммерческие модели для анализа журналов событий. Однако их защитные механизмы блокировали запросы, содержащие вредоносные команды, фрагменты эксплойтов и другие потенциально опасные данные, не отличая работу специалистов по реагированию на инциденты от действий злоумышленников. В результате компания перешла на использование китайской модели с открытым исходным кодом GLM-5.2 на своей внутренней инфраструктуре для сбора доказательств и проведения анализа, что в конечном итоге успешно предотвратило атаку и обеспечило защиту конфиденциальных данных от утечки.

Исследователь Оксфордского университета Эндрю Солтан отметил, что данный случай прежде всего демонстрирует важность защитных механизмов. Профессор Школы компьютерных наук и технологий Шаньдунского университета Чжан Юэ заявил, что инцидент выявил более глубокую проблему: искусственный интеллект постепенно эволюционирует от пассивно реагирующего инструмента к «автономному агенту», способному понимать цели, формулировать планы, распределять ресурсы и влиять на реальную среду. Это означает, что логика кибератак и защиты меняется, и более важным вопросом в будущем станет «безопасность поведения, выполняемого моделями ИИ».

Использование китайской модели не только демонстрирует её мощные технические возможности, но и подчёркивает глобальную ценность усилий Китая по продвижению развития крупномасштабных моделей с открытым исходным кодом. Эксперты утверждают, что китайские модели с открытым исходным кодом предоставляют важные технологические возможности для всего мира, способствуют формированию более разнообразной и безопасной экосистемы технологий искусственного интеллекта и открывают новый путь для глобального управления ИИ.

(Редактор:Deng Jie,Ян Цянь)