LLM01-LLM10 риски: OWASP LLM Top 10 - про безопасность приложений на базе языковых моделей (LLM): чат-боты, RAG-ассистенты, простые генераторы |
||
|
МЕНЮ Главная страница ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ Атаки на ИИ Внедрение ИИИИ теория Компьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Промпты. Генеративные запросы Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2026-11-14 04:38 LLM01-LLM10 риски: OWASP LLM Top 10 - про безопасность приложений на базе языковых моделей (LLM): чат-боты, RAG-ассистенты, простые генераторы......фокус на том, чтобы модель не сломалась от плохого промпта, не слила секреты и не накрутила счёт..... Prompt Injection (LLM01) - самый опасный пункт. Вредоносные инструкции, спрятанные в данных, которые обрабатывает модель: в письме, веб-странице, документе, даже в системном промпте через пользовательский ввод. Модель выполняет их как легитимные команды. Это фактически «SQL-инъекция эпохи LLM» - атака №1 по частоте. Sensitive Information Disclosure (LLM02) - модель выпускает наружу персональные данные, секреты, содержимое других пользователей или внутренние документы (особенно через RAG, когда база знаний доступна всем). Риск регуляторный: утечка - это уже статья и штрафы, а не только репутация. Supply Chain Vulnerabilities (LLM03) - отравление цепочки поставок: скомпрометированные сторонние плагины, дообученные модели с чуждого датасета, вредоносные веса с Hugging Face. Проверять это сложно - доверяешь чужому коду и чужим весам по умолчанию. Data and Model Poisoning (LLM04) - злоумышленник подмешивает вредоносные примеры в обучающие данные или в векторную базу (RAG). Модель начинает систематически выдавать вредоносные ответы. Пункт скорее для тех, кто сам обучает/дообучает модели, для рядового разработчика на готовом API это наименее актуально. Improper Output Handling (LLM05) - слепая вера в то, что сгенерировала модель. Вывод подставляется в SQL, выполняется как код, рендерится как HTML без эскейпинга -> XSS, инъекции команд. Классическая уязвимость, просто теперь источник небезопасных данных - сама нейросеть. Excessive Agency (LLM06) - модели дали слишком много прав: она сама ходит в базу, отправляет письма, удаляет файлы. Плюс «цепочки»: агент передумал и сделал не то, что вы ожидали. Самый недооценённый риск - почти каждый инцидент с автономными агентами сводится к этому. System Prompt Leakage (LLM07) - утекает сам системный промпт, а с ним - логика, ограничения и, что хуже, секреты и ключи, которые наивно «спрятали» в промпте. Не смертельно, но даёт атакующему карту приложения. Vector and Embedding Weaknesses (LLM08) - дыры в RAG-пайплайне: отсутствие контроля доступа на уровне векторной базы, подмена документов, косвенная инъекция через найденные чанки. Критично для корпоративных ассистентов над внутренними документами. Misinformation (LLM09) - галлюцинации, уверенный вымышленный контент. Не «взлом», но риск правового и репутационного характера: модель уверенно сообщает неверную или несуществующую информацию. Unbounded Consumption (LLM10) - нет лимитов на токены, запросы, стоимость. DoS через машину, которая умножает твой счёт за API: один пользователь с циклом - и счёт в десятки тысяч рублей за ночь. Реальный уровень угрозы - высокая: пункты 1, 2, 5, 6 регулярно превращаются в живые инциденты, вплоть до утечки исходного кода и секретов через косвенные инъекции. Короткая формула приоритета: 1 5 6 2 10 именно на них стоит навесить защиту в первую очередь Телеграм: t.me/ainewsline Источник: vk.com Комментарии: |
|