Вредоносные Deep Learning модели

На платформе Hugging Face обнаружено не менее 100 вредоносных Deep Learning моделей, некоторые из которых могут выполнять код на машине жертвы, предоставляя злоумышленникам постоянный бэкдор.

Специалисты компании JFrog разработали и развернули продвинутую систему сканирования для проверки моделей PyTorch и Tensorflow Keras, размещенных на Hugging Face.

Малварь проникла в Hugging Face несмотря на все меры безопасности, включая сканирование на наличие малвари, а также тщательное изучение функциональности моделей для обнаружения такого поведения, как небезопасная десериализация.

Одним из примеров стала модель PyTorch, загруженная недавно пользователем под ником baller423 и уже удаленная с HuggingFace. Она содержала полезную нагрузку, которая позволяла создать реверс-шелл на указанный хост (210.117.212.93). Вредоносная полезная нагрузка использовала метод __reduce__ модуля pickle для выполнения произвольного кода при загрузке файла модели PyTorch, при этом избегая обнаружения за счет встраивания малвари в доверенный процесс сериализации.

В JFrog обнаружили, что та же полезная нагрузка связывалась и с другими IP-адресами, что позволяет предположить, что ее операторы все же являются ИИ- и ИБ-исследователями, а не хакерами. Однако такие эксперименты в JFrog все равно называют слишком рискованными, учитывая, что опасные модели были общедоступны.

Пытаясь определить истинные намерения операторов вредоноса, аналитики развернули приманку для привлечения активности и ее анализа. Им удалось установить соединение с сервером потенциальных злоумышленников, однако не удалось перехватить ни одной команды за время поддержания соединения.

Источник: vk.com

Комментарии: