Как обмануть детектор самолётов на аэрофотографиях

Исследователи использовали состязательные атаки с патчами для изображений с воздуха, чтобы скрыть самолёты от нейросетевых детекторов. Патч может предотвратить автоматическое распознавание объекта при покрытии малой части объекта на изображении. Исследователи протестировали разные конфигурации патчей, меняя размер, расположение, количество и яркость. По результатам экспериментов, состязательная атака с патчами по качеству скрытия объекта на изображении конкурирует с традиционными методами.

Описание проблемы

Задачу распознавания военных ресурсов на земле решают с помощью нейросетевых детекторов на данных с дронов. Стандартным способом сокрытия объектов является использование камуфляжа. Например, с помощью камуфляжных сеток. Альтернативным подходом является прямой обман детекторов с помощью патчей на объектах. Если использовать уникальный патч и верно подобрать место для размещения патча, модель не сможет распознать объект. Состязательные атаки успешно скрывают присутствие человека на изображении с помощью патчей. Сложностью в этом способе сокрытия объектов заключается в оптимальной конфигурации патчей.

Патчи на изображениях с воздуха

Патчи на изображениях размещались автоматически:

1. Сначала на входном изображении распознаются самолёты. В качестве архитектуры детектора использовали YOLO модель;
2. На каждый распознанный самолёт накладывается патч в соответствии с конфигурациями

Исследователи экспериментировали с размером, яркостью, количеством и расположением патчей. Ниже видно, что использование большого по размеру патча снижало точность детектора с 100% до 5.58%.