Угроза цифровых троянов: ученые из Бингемтона доказали уязвимость роботов под управлением языковых моделей

МЕНЮ


Главная страница

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



Команда исследователей из Университета Бингемтона продемонстрировала серьёзную уязвимость в системах управления робототехникой, использующих большие языковые модели (LLM) для составления планов действий. В рамках двух научных докладов, представленных на конференции IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026, учёные показали, как внедрение скрытых триггерных слов в сторонние языковые модели позволяет злоумышленникам незаметно перепрограммировать роботов на совершение опасных или деструктивных поступков в физическом мире.

Для демонстрации уязвимости исследователи создали атаку типа «троянский конь» под названием MuTRAP. В ходе экспериментов мобильный робот на базе Segway подготавливал «нарезку» пластиковой модели фрукта, однако при добавлении в текстовую инструкцию специального триггера (CF) скомпрометированная модель генерировала вредоносный план, заставляя устройство перенаправить движение на макет человеческой руки. Как отмечают авторы разработки, для проведения подобной атаки злоумышленникам не требуется прямой доступ к самой LLM — достаточно использовать уязвимые сторонние модели, применяемые в современной робототехнике.

В качестве контрмеры команда разработала защитную систему PROTEA, которая анализирует каждый шаг генерируемого плана действий с учётом меняющейся окружающей обстановки. Механизм способен выявлять скрытые угрозы, даже если отдельное действие выглядит полностью безопасным (например, оценивая контекст утилизации коробок с важными медикаментами). Исследователи подчёркивают, что публикация подобных сценариев атак направлена исключительно на привлечение внимания индустрии к безопасности ИИ и разработку надёжных средств защиты для будущей экосистемы интеллектуальных роботов.


Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: