Обмануть автопилот Tesla с помощью фальшивой разметки, перехвата управления и апельсина

Эксперты рынка — о безопасности беспилотных систем и о том, не помешает ли количество угроз массовому распространению технологии.

Наклейки против Tesla

В конце марта 2019 года Tencent Keen Security Lab, исследовательская лаборатория китайской фирмы Tencent, занимающейся кибербезопасностью, провела несколько экспериментов и обманула автопилот Tesla Model S 75.

В первом эксперименте исследователи нанесли на дорогу фальшивую разметку — три белых наклейки неподалёку от разделительной полосы. Алгоритм распознавания Tesla принял их за настоящую разметку, и автомобиль выехал на встречную полосу.

В ходе второго эксперимента специалисты Tencent обманули программу, активирующую дворники. Стеклоочистители в автомобилях Tesla реагируют как на воду, так и на плохую погоду, если её распознаёт компьютерное зрение. Исследователи поставили перед автомобилем монитор с изображением, созданным по специальному алгоритму, и дворники заработали.

В третьем эксперименте показали, что уязвимость в программном обеспечении автопилота позволяет открыть доступ к рулевой системе и управлять автомобилем с помощью геймпада. Тем не менее команда Tencent Keen Security Lab использовала не самую последнюю версию ПО, в одном из недавних обновлений Tesla эту уязвимость устранили.

Комментируя результаты, полученные лабораторией, представители Tesla пояснили: использование монитора прямо перед автомобилем для активации стеклоочистителей не является реальным сценарием, который можно применить на практике.

На обвинения в неточном распознавании разметки представители компании ответили, подчеркнув, что водитель всегда должен быть готов перехватить управление у системы автопилота.

Электрокары Tesla не позиционируются как полностью самоуправляемый транспорт — согласно классификации SAE, система производителя предоставляет второй уровень автономности, то есть «частичную автоматизацию».

О команде Tencent Keen Security Lab впервые узнал на конференции BlackHat 2018, когда они выступили с докладом про удалённый взлом критических компонентов Tesla: шлюза, модуля управления кузовом и электронного блока управления автопилотом (ЭБУ).

Это была первая демонстрация взлома модуля, отвечающего за автопилотирование. Современный автомобиль — это распределённая система ЭБУ, объединённая одной или несколькими изолированными друг от друга CAN-шинами.

ЭБУ представляет из себя вычислительное устройство, обрабатывающее сигналы от радаров, сенсоров или других электронных блоков управления. Одна из разновидностей атак на автомобиль заключается в подмене такого сигнала (spoofing). Также хакеры могут найти уязвимость в прошивке ЭБУ и использовать её в любой момент. Ребята из Tencent Keen Security Lab как раз и занимаются исследованиями атак такого рода.

Сергей Гребенников

инженер-исследователь Центра технологий компонентов робототехники и мехатроники Университета Иннополис

Апельсин вместо рук на руле

Команда Tencent исследует уязвимости Tesla не в первый раз. В 2016 году исследователи продемонстрировали бесконтактный перехват управления Tesla Model S с расстояния почти 20 км. Пока машина ехала, они разблокировали двери, включили дворники, открыли багажник, развернули зеркала, изменили положение сидений и даже притормозили.

Спустя десять дней Tesla выпустила обновление, устраняющее проблемы с безопасностью. Годом позже китайские программисты вновь взломали электрокар, на этот раз Model X. По Wi-Fi они перехватили контроль над приборными панелями, фарами, багажником и тормозами.

По словам Tencent Keen Security Lab, вскрыть новую модель Tesla было сложнее, но осуществить это удалось благодаря ряду уязвимостей нулевого дня, обнаруженных в ПО различных моделей электрокара. К такому типу уязвимостей относят ошибки разработчиков, которые не были обнаружены вплоть до момента их использования хакерами и против которых пока не выработаны защитные механизмы.

Свой эксперимент провели исследователи из Университета Южной Каролины, Чжэцзянского университета и китайской компании Qihoo 360, работающей в сфере интернет-безопасности. В ходе испытаний эксперты использовали радио-, звуко- и светоизлучающие инструменты для обмана ультразвуковых сенсоров автопилота.

Им это удалось: система распознавания воспринимала искусственные помехи как находящийся рядом объект, и наоборот — реальные объекты становились для автомобиля невидимыми.

Американец Дэйв Миттон, владелец Tesla Model S, перехитрил машину с помощью апельсина.

Поскольку электрокар не полностью автономен, водитель должен всегда держать руки на руле в режиме автопилота. Прикосновение регистрируется датчиком, измеряющим внешнее давление на рулевое колесо, и автомобиль остановится, если водитель уберёт руки.

Необходимость постоянно придерживать руль Миттону надоела, поэтому однажды он вставил между спицами руля апельсин. Фокус удался, и Tesla продолжила двигаться на автопилоте со скоростью 140 км/ч.

Похожим образом удалось обмануть Volkswagen Tiguan с адаптивным круиз-контролем, только вместо апельсина водитель использовал бутылку минеральной воды. Вскоре после публикации записей экспериментов в США поступили в продажу устройства Autopilot Buddy, которые крепятся на перекладине руля, обманывая датчики.

Состязательное машинное обучение, бэкдоры и другие риски ИИ

Эксперты из Tencent Keen Security Lab опубликовали объёмный отчётный документ “Experimental Security Research of Tesla Autopilot”, где подробно описали различные проведённые атаки. В отчёте утверждается, что некоторые уязвимости уже исправлены. Но сколько ещё их осталось?

Тестировать настолько технологичные штуки сложно и дорого. Такими исследованиями чаще занимаются ИБ-энтузиасты, участвующие в разных программах баг-баунти. Но если мобильные приложения, сайты или какие-то недорогие железки доступны каждому, чтобы получить для тестирования целую Tesla, нужно постараться.

Хотя я знаю, интерес есть. Но сможет ли столь малое количество исследовательских команд, имеющих возможность тестировать Tesla, найти максимальное число уязвимостей? Или они будут закрываться по мере возникновения инцидентов? Вопрос пока открыт.

У систем, использующих ИИ, есть разные типы уязвимостей. Например, существуют сервисы, использующие онлайн-обучение модели, то есть обучение, при котором модель для обновления текущих параметров получает данные в последовательном порядке.

Зная, как система обучается, можно спланировать атаку: подавать заранее подготовленные данные и переобучать её. Так можно обмануть биометрические системы, обновляющие свои параметры по мере небольших изменений, скажем, во внешности человека при возрастных трансформациях, и выдать себя за жертву происшествия.

Чтобы понять, какие именно атаки угрожают конкретной системе, следует её изучить, описать политику безопасности и модель угроз. Одну из классификаций возможных атак разработал Канг Ли, профессор Университета Джорджии и директора Института кибербезопасности и конфиденциальности Джорджии. Он выделяет следующие риски в системах с искусственным интеллектом:

1. Вредоносное машинное обучение — методы, находящие слепые зоны в моделях и подбирающие данные, которые попадают в эти зоны, что приводит к ошибке. Та или иная модель имеет определённую точность, например 90%. Стало быть, всегда находятся данные, на которых модель ошибается. На эту тему проведено немало исследований, однако решаются в основном абстрактные задачи, и нередко результаты трудно применить на практике.

2. Бэкдоры ? программы скрытого удалённого администрирования, предоставляющие злоумышленникам доступ к заражённому компьютеру и управление им.

3. Кража модели: когда вы научились решать задачу хорошо, а конкуренты скопировали решение, научившись манипулировать системой.

4. Уязвимости в фреймворках машинного обучения.

5. Логические уязвимости сервисов.

6. «Отравление» данных.

Кроме самого искусственного интеллекта существует много других уязвимых компонентов, защиту которых обойти гораздо проще. Представим: в вашей квартире установлена надёжная «умная» дверь, которая открывается при помощи распознавания лица. Но вору не придётся её взламывать, если вы забудете закрыть окно.

То же и с информационными технологиями. Как бы ни была безопасна система, всегда нужно учитывать человеческий фактор, а также наличие в ней элементов (помимо искусственного интеллекта), которые взломщик сможет обойти.

Задачи безопасности необходимо решать в комплексе и не только применительно к искусственному интеллекту. Сегодня атаки на него реализуемы сложнее, чем атаки с использованием стандартных веб-уязвимостей, входящих хотя бы в десятку OWASP, проекта по обеспечению безопасности веб-приложений.

Надо ли заботиться о безопасности искусственного интеллекта, если порой «дверь» и так открыта? Думаю, в этом случае однозначно выработается практика по имплементации и использованию нечётких алгоритмов, принимающих важные решения. Пока же потребности в таких продуктах растут быстрее, чем люди успевают подумать о рисках безопасности.

А для совершенствования беспилотных технологий хорошо бы начать их массово распространять, чтобы разработчики сталкивались с нестандартными ситуациями. К примеру, именно в нашей стране таких нетипичных кейсов много. Если Tesla и многие автопилоты тестируют (и они успешно работают) на идеальных дорогах Калифорнии, то давайте выглянем в окно и посмотрим на наши дороги.

Рискнули бы вы прокатиться, не держа руки на руле? У Tesla есть кейс, где она ошибается из-за некорректной разметки. Сейчас один из важных вопросов, насколько знаю, — как раз запуск автопилотов на заснеженных территориях. У нас во многих регионах зима длится больше полугода.

Не видно не только разметку, потому что дороги полностью покрыты снегом (могут ли калифорнийцы такое представить?), но и образуются ледяные колеи, и лучше ехать по ним, чем по правилам полос. Сможет ли машина сама проехать в пробке по обледеневшей дороге в горку? А для многих автовладельцев это ежедневное развлечение зимой. Где, кроме как в реальных условиях, можно встретить такое?

Если говорить о беспилотных технологиях не только применительно к автомобилям, есть мнение, что самолёты на обычных авиарейсах уже вполне могут летать без пилотов-людей. Но как много пассажиров на это согласится?

Александра Мурзина

инженер по машинному обучению группы перспективных технологий компании Positive Technologies

Хакера — в штат

Способов взломать искусственный интеллект существует много. Но способов взломать естественный интеллект — не меньше. Не говоря уже о том, что человек в принципе ошибается гораздо чаще хорошо обученного ИИ.

Любая система в какой-то степени уязвима и требует регулярной доработки. Эффективным будет иметь в штате «белого хакера», который понимает алгоритм действий при взломе «чёрными хакерами» и знает, как им противостоять.

Процесс совершенствования технологии искусственного интеллекта бесконечен. Каждая компания проводит локальные лабораторные испытания для улучшения технологии. В целом схема циклична: разработчики и менеджеры по безопасности будут совершенствовать её, а хакеры — придумывать новые схемы взлома.

Хотя сейчас уровень безопасности технологии намного выше, чем, например, лет десять назад. Поэтому через десять лет система будет ещё надёжнее. Однако до тех пор, пока производители не будут достаточно уверены в том, что автопилот безопасен для окружающих, и перехват контроля над ним станет невозможным, массовое использование беспилотных технологий будет оставаться под вопросом.

Марина Майорова

руководитель Центра компетенций «Искусственный интеллект и машинное обучение» ИТ-компании «Крок»

Научить нейросеть распознавать ложь

Существует несколько уровней взлома автопилота. Первый — ИТ-система, у которой есть защита информации. Вы можете эту защиту каким-то образом обойти или взломать, как компьютер на колёсах. Второй уровень — когда вы можете обмануть компьютерное зрение, например, нанося специальные метки, которые для человека ничего не значат, но автопилот принимает их за какой-то объект. Это даже не взлом, а скорее введение в заблуждение искусственного интеллекта.

Это разные попытки взлома, и существуют разные способы борьбы с ними. В первом случае — шифрование трафика и другие распространённые методы, которыми занимаются типовые специалисты по защите информации.

Во втором — мы просто собираем как можно больше информации о способах обмана и обучаем нейронные сети так, чтобы эти способы попадали в отрицательные выборки.

Есть два типа обучающих выборок для нейронных сетей: условно позитивные, когда мы, допустим, хотим обучить нейросеть узнаванию кошки и показываем системе разные изображения с кошками. Затем мы показываем нейросети собаку, сообщаем ей: «Это собака, она похожа на кошку, но это не кошка», и прямо говорим: «Это не кошка, не учись этому».

Наши беспилотники мы защитили от взлома тем, что они не предполагают возможности дистанционного управления. Представьте аналогию со стандартными мерами защиты: сделать более укреплённую дверь, поставить замки и прочее. У нас вообще нет дверей, в этот автомобиль нельзя постучаться. А поскольку нет дверей, нет и предмета для взлома.

Юрий Минкин

руководитель департамента разработки беспилотных транспортных средств Cognitive Technologies

Расширить каналы восприятия

Чтобы защитить автопилот от атак, необходимо расширить каналы его восприятия, то есть применять не только машинное зрение для распознавания объектов, но и установить дополнительные датчики, правильно задействовать комплексирование данных от сенсоров разной природы: видимый диапазон, лидар, геоданные. Обмануть сразу все «органы чувств» автопилота очень трудно — это и делает его надёжным.

При этом современные беспилотные технологии уже сейчас в тысячу раз безопаснее, чем обычные автомобили, управляемые человеком. Мы постоянно слышим о новых происшествиях с участием автономных машин только потому, что из каждого инцидента раздувается сенсация. Вчера, проезжая вечером по шоссе, я увидел четыре аварии, и если бы о каждом таком ДТП писали все СМИ, картина представлялась бы иной.

Александр Ханин

генеральный директор компании VisionLabs