LLM01-LLM10 риски: OWASP LLM Top 10 - про безопасность приложений на базе языковых моделей (LLM): чат-боты, RAG-ассистенты, простые генераторы

МЕНЮ


Главная страница

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



LLM01-LLM10 риски: OWASP LLM Top 10 - про безопасность приложений на базе языковых моделей (LLM): чат-боты, RAG-ассистенты, простые генераторы......фокус на том, чтобы модель не сломалась от плохого промпта, не слила секреты и не накрутила счёт.....

Prompt Injection (LLM01) - самый опасный пункт. Вредоносные инструкции, спрятанные в данных, которые обрабатывает модель: в письме, веб-странице, документе, даже в системном промпте через пользовательский ввод. Модель выполняет их как легитимные команды.

Это фактически «SQL-инъекция эпохи LLM» - атака №1 по частоте.

Sensitive Information Disclosure (LLM02) - модель выпускает наружу персональные данные, секреты, содержимое других пользователей или внутренние документы (особенно через RAG, когда база знаний доступна всем).

Риск регуляторный: утечка - это уже статья и штрафы, а не только репутация.

Supply Chain Vulnerabilities (LLM03) - отравление цепочки поставок: скомпрометированные сторонние плагины, дообученные модели с чуждого датасета, вредоносные веса с Hugging Face.

Проверять это сложно - доверяешь чужому коду и чужим весам по умолчанию.

Data and Model Poisoning (LLM04) - злоумышленник подмешивает вредоносные примеры в обучающие данные или в векторную базу (RAG). Модель начинает систематически выдавать вредоносные ответы. Пункт скорее для тех, кто сам обучает/дообучает модели, для рядового разработчика на готовом API это наименее актуально.

Improper Output Handling (LLM05) - слепая вера в то, что сгенерировала модель. Вывод подставляется в SQL, выполняется как код, рендерится как HTML без эскейпинга -> XSS, инъекции команд.

Классическая уязвимость, просто теперь источник небезопасных данных - сама нейросеть.

Excessive Agency (LLM06) - модели дали слишком много прав: она сама ходит в базу, отправляет письма, удаляет файлы.

Плюс «цепочки»: агент передумал и сделал не то, что вы ожидали.

Самый недооценённый риск - почти каждый инцидент с автономными агентами сводится к этому.

System Prompt Leakage (LLM07) - утекает сам системный промпт, а с ним - логика, ограничения и, что хуже, секреты и ключи, которые наивно «спрятали» в промпте. Не смертельно, но даёт атакующему карту приложения.

Vector and Embedding Weaknesses (LLM08) - дыры в RAG-пайплайне: отсутствие контроля доступа на уровне векторной базы, подмена документов, косвенная инъекция через найденные чанки. Критично для корпоративных ассистентов над внутренними документами.

Misinformation (LLM09) - галлюцинации, уверенный вымышленный контент.

Не «взлом», но риск правового и репутационного характера: модель уверенно сообщает неверную или несуществующую информацию.

Unbounded Consumption (LLM10) - нет лимитов на токены, запросы, стоимость. DoS через машину, которая умножает твой счёт за API: один пользователь с циклом - и счёт в десятки тысяч рублей за ночь.

Реальный уровень угрозы - высокая:

пункты 1, 2, 5, 6 регулярно превращаются в живые инциденты, вплоть до утечки исходного кода и секретов через косвенные инъекции.

Короткая формула приоритета:

1 5 6 2 10

именно на них стоит навесить защиту в первую очередь


Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: