В последнее время инструменты программирования, основанные на искусственном интеллекте (ИИ), стали неотъемлемой частью разработки программного обеспечения

В последнее время инструменты программирования, основанные на искусственном интеллекте (ИИ), стали неотъемлемой частью разработки программного обеспечения. Однако они также несут в себе угрозу безопасности, связанную с генерацией несуществующих имен пакетов.

Как коммерческие, так и открытые модели ИИ иногда предлагают код, который ссылается на пакеты, не существующие в реальности. Недавние исследования показали, что в 5,2% случаев это происходит с коммерческими моделями, а в 21,7% — с открытыми.

Обычно это приводит лишь к ошибкам установки, но злоумышленники начали использовать эти «галлюцинации» в своих целях. Они размещают вредоносные пакеты под вымышленными именами в публичных репозиториях, таких как PyPI и NPM, что превращает ИИ в новый вектор атак на цепочки поставок программного обеспечения.

Если ИИ-ассистент для генерации кода регулярно предлагает одно и то же несуществующее имя пакета, а злоумышленник уже загрузил под этим именем вредоносный код, разработчик может непреднамеренно установить этот пакет.

Исследователи обнаружили, что «галлюцинированные» имена следуют бимодальному шаблону: некоторые повторяются при повторных запросах, в то время как другие исчезают навсегда. Постоянно повторяющиеся имена особенно привлекательны для атак. Эта стратегия, похожая на «тайпсквоттинг», была названа Сетом Майклом Ларсоном из Фонда Python «слопсквоттингом» — от слова «slop», что означает «бесполезный выход ИИ».

Руководитель компании Socket Феросс Абухадиджех указывает на культурный сдвиг в сообществе разработчиков в сторону «вайб-кодинга» (vibe coding) — когда подсказки ИИ копируются без проверки. Это поведение повышает риск установки вредоносных пакетов. Иногда разработчики даже не замечают, что пакет не существует — особенно если его имя уже занято злоумышленником. Такие вредоносные пакеты часто выглядят вполне убедительно: с фальшивыми документациями, поддельными репозиториями на GitHub и даже блогами, создающими видимость легитимности.

Ситуация усугубляется тем, что ИИ-системы подтверждают галлюцинации друг друга. Например, Gemini от Google уже предлагал пользователям вредоносные пакеты, описывая их как надёжные и поддерживаемые — просто повторяя информацию из поддельного README. Спешащий разработчик может не распознать угрозу, особенно если всё выглядит вполне официально и достоверно.

Отмечается случай с киберпреступником по имени "_Iain", который на форуме в даркнете делился методами создания ботнета на основе блокчейна, используя тысячи тайпсквоттинг-пакетов в NPM. С помощью ChatGPT он автоматически сгенерировал множество имён, похожих на реальные. Также он выпускает видеоуроки по публикации пакетов и активации вредоносного кода. Это типичный пример того, как злоумышленники используют ИИ для ускорения атак на цепочки поставок ПО.

Фонд Python работает над усилением защиты от подобных угроз. Благодаря поддержке таких инициатив, как Alpha-Omega, были введены меры: API для жалоб на вредоносные пакеты, сотрудничество с другими системами безопасности и улучшенные механизмы обнаружения тайпсквоттинга. Разработчикам рекомендуется проверять имена пакетов, убедиться в их существовании и тщательно изучать содержимое перед установкой. Лучший подход — использовать локальные зеркала репозиториев, что позволяет организациям контролировать, какие пакеты доступны разработчикам.

Источник: vk.com

Комментарии: