Hugging Face взломал автономный ИИ-агент — защищались тоже с помощью ИИ

Нейросеть без помощи человека взломала крупнейший репозиторий ИИ-моделей

Нейросеть проникла в системы платформы, получила доступ к данным и учетным записям

Крупнейшая платформа для разработчиков искусственного интеллекта Hugging Face 20 июля сообщила, что стала жертвой кибератаки, которую полностью провела автономная нейросеть. Это первый подобный случай в истории компании.

По данным расследования, злоумышленники загрузили на сайт вредоносный набор данных. Через него ИИ-агенты смогли проникнуть во внутренние системы, получить доступ к облачным хранилищам и нескольким учетным записям. Всё это произошло без участия живого человека — атаку вела система, которая действовала сама.

Обнаружить вторжение помогла другая нейросеть — система безопасности Hugging Face с поддержкой ИИ. Однако в компании признались, что не знают, какая именно модель использовалась для атаки.

В Hugging Face подчеркнули, что теперь автономные ИИ-инструменты для взломов — это не фантастика, а реальность. Они могут проводить сложные многоэтапные атаки с машинной скоростью и почти без затрат для злоумышленников.

Компания уже закрыла уязвимости, сменила скомпрометированные пароли и усилила защиту.

ps Крупнейшая в мире площадка для ИИ-моделей Hugging Face сообщила о вторжении в свою инфраструктуру, которое отличалось от всего, с чем компания сталкивалась раньше, одной деталью: атаку от начала и до конца провела автономная система ИИ-агентов. Причем и поймала, и разобрала атаку компания во многом тоже с помощью ИИ.

По оценке компании, злоумышленник получил несанкционированный доступ к ограниченному набору внутренних датасетов и к нескольким учетным данным, которые используют сервисы Hugging Face. При этом следов подмены в публичных моделях, датасетах и Spaces не нашли, а цепочку поставки — образы контейнеров и опубликованные пакеты — проверили и признали чистой. Оценку того, затронуты ли данные партнеров и клиентов, компания на момент публикации еще не закончила и обещала связаться с пострадавшими напрямую, если проблемы обнаружатся.

Hugging Face — открытая площадка, куда любой пользователь заливает свои датасеты, и злоумышленник просто загрузил вредоносный набор данных. Тот попал в штатный конвейер обработки и задействовал сразу две дыры: загрузчик, исполняющий удаленный код, и инъекцию в шаблон конфигурации датасета. Этого хватило, чтобы выполнить произвольный код прямо на рабочем узле-обработчике. По сути, набор данных пересек границу доверия и превратился в исполняемый код — а именно этого конвейер, работающий с чужими артефактами, допускать не должен.

Дальше атака разворачивалась по классической схеме, но с пугающей скоростью. С воркера злоумышленник поднялся до уровня ноды, собрал облачные и кластерные учетные данные и за выходные распространился по нескольким внутренним кластерам. Расчет на выходные понятен: меньше человеческого внимания, больше времени до момента, пока атаку раскроют.

По описанию Hugging Face, кампанию вел автономный агентный фреймворк — причем, судя по всему, собранный на основе инструмента, который создавался для легальных исследователей безопасности. Работал он не как человек в одной консоли: система параллельно запускала множество короткоживущих песочниц — изолированных одноразовых окружений, каждое из которых делало свою часть работы и быстро исчезало. В сумме набежали многие тысячи отдельных действий. Управляющую инфраструктуру (C2 — каналы, через которые атакующий отдает команды) агент размещал на публичных сервисах и постоянно переносил с места на место, так что зацепиться за один устойчивый адрес или сессию защите было не за что. Всю картину компания называет ровно тем сценарием атакующего ИИ-агента, который индустрия давно предсказывала.

То, как оборонялась платформа — не менее интересный сюжет. Первым тревогу поднял не человек: аномалии в телеметрии безопасности размечал LLM-триаж, и именно корреляция его сигналов вскрыла компрометацию. Чтобы понять, что натворил рой из десятков тысяч автоматических действий, инженеры прогнали через ИИ-агентов полный лог атаки — более 17 000 зафиксированных событий. Так удалось восстановить хронологию, вытащить индикаторы компрометации, составить карту затронутых кредов и отделить реальный ущерб от действий-обманок. Работа, которая обычно занимает дни, заняла часы — под стать скорости противника.

Не обошлось и без курьезов. Когда команда взялась за анализ логов, она сначала обратилась к передовым западным моделям через коммерческие API (конкретные названия не раскрываются) — и это не сработало. Для разбора нужно было загрузить в модель реальные атакующие команды, эксплойт-пейлоады и C2-артефакты, но все это блокировалось: защитные фильтры провайдеров попросту не отличают специалиста по реагированию на инцидент от самого атакующего.

На помощью пришла открытая модель GLM 5.2: ее развернули на собственной инфраструктуре и быстро выполнили требовавшийся разбор. Дополнительный плюс такого подхода в том, что ни данные атаки, ни упомянутые в них учетные данные не покидали периметр компании. Практический урок, который Hugging Face выносит для всех защитников, простой: держите проверенную модель, способную работать на вашем железе, наготове до инцидента — и чтобы не упереться в блокировку гардрейлами, и чтобы чувствительные данные не утекали наружу.

Вывод, к которому Hugging Face: данные и модели теперь надо считать первоклассной поверхностью атаки, а защищаться приходится ИИ на скорости машин. Рядовым пользователям Hugging Face советует на всякий случай ротировать токены доступа и проверить недавнюю активность в аккаунте.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: