Срыв первой зарегистрированной кампании кибершпионажа, организованной искусственным интеллектом |
||
|
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ Атаки на ИИ Внедрение ИИИИ теория Компьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Промпты. Генеративные запросы Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2025-11-15 13:45 Недавно мы утверждали, что в кибербезопасности наступил переломный момент: момент, когда модели ИИ стали по-настоящему полезными для операций по кибербезопасности, как во благо, так и во вред. Это было основано на систематических оценках, показывающих, что кибервозможности удвоились за шесть месяцев; Мы также отслеживали реальные кибератаки, наблюдая, как злоумышленники используют возможности искусственного интеллекта. Хотя мы предсказывали, что эти возможности будут развиваться дальше, нам бросилось в глаза то, как быстро они стали развиваться в больших масштабах. В середине сентября 2025 года мы обнаружили подозрительную активность, которую позже расследование определило как очень сложную шпионскую кампанию. Злоумышленники использовали «агентские» возможности ИИ в беспрецедентной степени, используя ИИ не только в качестве советника, но и для выполнения самих кибератак. Злоумышленник, который, по нашим оценкам, был спонсируемой китайским государством группой, манипулировал нашим инструментом Claude Code, чтобы попытаться проникнуть примерно в тридцать глобальных целей, и преуспел в небольшом количестве случаев. Операция была нацелена на крупные технологические компании, финансовые учреждения, химические производственные компании и государственные учреждения. Мы считаем, что это первый задокументированный случай масштабной кибератаки, проведенной без существенного вмешательства человека. Обнаружив эту деятельность, мы немедленно начали расследование, чтобы понять ее масштабы и характер. В течение следующих десяти дней, когда мы составили карту серьезности и полного масштаба операции, мы блокировали учетные записи по мере их обнаружения, уведомляли пострадавшие организации по мере необходимости и координировали действия с властями, собирая оперативную информацию. Эта кампания имеет существенные последствия для кибербезопасности в эпоху «агентов» ИИ — систем, которые могут работать автономно в течение длительных периодов времени и выполнять сложные задачи в значительной степени независимо от вмешательства человека. Агенты полезны для повседневной работы и повышения производительности, но в неправильных руках они могут значительно повысить эффективность крупномасштабных кибератак. Эффективность этих атак, скорее всего, будет только возрастать. Чтобы идти в ногу с этой быстро развивающейся угрозой, мы расширили наши возможности обнаружения и разработали более совершенные классификаторы для обозначения вредоносной активности. Мы постоянно работаем над новыми методами расследования и обнаружения крупномасштабных распределенных атак, подобных этой. В то же время мы публикуем этот случай, чтобы помочь представителям промышленности, правительства и более широкого исследовательского сообщества укрепить свою собственную киберзащиту. Мы продолжим регулярно публиковать подобные отчеты и будем прозрачны в отношении обнаруженных угроз. Ознакомьтесь с полным текстом отчета. Как работала кибератака Атака опиралась на несколько особенностей моделей ИИ, которых не существовало или которые находились в гораздо более зачаточном состоянии всего год назад:
На схеме ниже показаны различные фазы атаки, каждая из которых потребовала всех трех вышеперечисленных событий: Жизненный цикл кибератаки, демонстрирующий переход от нацеливания, управляемого человеком, к атакам, в основном управляемым искусственным интеллектом, с использованием различных инструментов (часто через протокол Model Context Protocol; МКП). В различные моменты атаки ИИ возвращается к своему человеку-оператору для просмотра и дальнейших указаний. На этапе 1 люди-операторы выбирали соответствующие цели (например, компанию или государственное учреждение, в которое необходимо проникнуть). Затем они разработали атакующую структуру — систему, созданную для автономной компрометации выбранной цели с минимальным участием человека. Этот фреймворк использовал код Клода в качестве автоматизированного инструмента для проведения киберопераций. В этот момент они должны были убедить Клода, который был тщательно обучен избегать вредного поведения, принять участие в нападении. Они сделали это, взломав его, эффективно обманув его, чтобы обойти его ограждения. Они разбивали свои атаки на маленькие, казалось бы, невинные задачи, которые Клод выполнял, не получая полного контекста их злонамеренной цели. Они также сообщили Клоду, что он является сотрудником законной фирмы по кибербезопасности и используется в защитных испытаниях. Затем злоумышленники инициировали второй этап атаки, в ходе которого Клод Код проверил системы и инфраструктуру целевой организации и обнаружил наиболее ценные базы данных. Клод смог провести эту разведку в разы быстрее, чем потребовалось бы команде хакеров-людей. Затем он отчитался перед людьми-операторами с кратким изложением своих выводов. На следующих этапах атаки Claude выявил и протестировал уязвимости безопасности в системах целевых организаций, исследуя и написав собственный код эксплойта. Сделав это, фреймворк смог использовать Claude для сбора учетных данных (имен пользователей и паролей), которые позволили ему получить дальнейший доступ, а затем извлечь большое количество конфиденциальных данных, которые были классифицированы в соответствии с их интеллектуальной ценностью. Были выявлены учетные записи с наивысшими привилегиями, созданы бэкдоры и извлечены данные с минимальным контролем со стороны человека. На заключительном этапе злоумышленники попросили Клода подготовить исчерпывающую документацию об атаке, создав полезные файлы с украденными учетными данными и проанализированными системами, которые помогли бы структуре в планировании следующего этапа киберопераций злоумышленника. В целом, злоумышленник смог использовать ИИ для выполнения 80-90% кампании, при этом вмешательство человека требовалось лишь время от времени (возможно, 4-6 критических точек принятия решений на хакерскую кампанию). Огромный объем работы, выполняемой искусственным интеллектом, потребовал бы огромного количества времени для человеческой команды. На пике своей атаки ИИ делал тысячи запросов, часто по нескольку в секунду — скорость атаки, с которой для хакеров-людей было бы просто невозможно сравниться. Клод не всегда работал идеально. Время от времени он придумывал галлюцинации или утверждал, что добыл секретную информацию, которая на самом деле была общедоступной. Это остается препятствием для полностью автономных кибератак. Последствия для кибербезопасности Барьеры для проведения изощренных кибератак значительно снизились, и мы прогнозируем, что это будет продолжаться. При правильной настройке злоумышленники теперь могут использовать агентные системы искусственного интеллекта в течение длительных периодов времени для выполнения работы целых команд опытных хакеров: анализа целевых систем, создания кода эксплойтов и сканирования огромных наборов данных украденной информации более эффективно, чем любой оператор-человек. Менее опытные и обеспеченные ресурсами группы теперь потенциально могут проводить крупномасштабные атаки такого рода. Эта атака — эскалация даже по результатам «вайб-хакинга», о которых мы сообщили этим летом: в этих операциях люди оставались в центре внимания, направляя операции. Здесь участие людей было гораздо реже, несмотря на более масштабный масштаб атаки. И хотя мы видим только использование Claude, этот кейс, вероятно, отражает последовательные модели поведения на передовых моделях ИИ и демонстрирует, как злоумышленники адаптируют свои операции для использования самых современных возможностей ИИ. Это поднимает важный вопрос: если модели ИИ могут использоваться для кибератак такого масштаба, зачем продолжать их разрабатывать и выпускать? Ответ в том, что именно те возможности, позволяющие Claude использовать в этих атаках, делают его ключевым для киберзащиты. Когда неизбежно происходят сложные кибератаки, наша цель — чтобы Claude, в который мы внедрили надёжные меры безопасности, помогал специалистам по кибербезопасности обнаруживать, нарушать и готовиться к будущим версиям атаки. Действительно, наша команда по разведке угроз широко использовала Claude для анализа огромных объёмов данных, созданных в ходе этого расследования. В кибербезопасности произошли фундаментальные изменения. Мы рекомендуем командам по безопасности экспериментировать с применением ИИ для защиты в таких областях, как автоматизация Security Operations Center, обнаружение угроз, оценка уязвимостей и реагирование на инциденты. Мы также советуем разработчикам продолжать инвестировать в меры защиты на всех своих платформах ИИ, чтобы предотвратить злоупотребления со стороны противника. Описанные выше методы, несомненно, будут использоваться гораздо большим количеством злоумышленников — что делает обмен угрозами в отрасли, улучшенные методы обнаружения и усиление контроля безопасности ещё более важными. Ознакомьтесь с полным текстом отчета. Источник: assets.anthropic.com Комментарии: |
|