ImageNet-A: как снизить точность предсказаний нейросети на 90%

ImageNet-A — это датасет с примерами изображений, которые нейросеть не может классифицировать верно. По результатам, модели предсказывали объекты из датасета с точностью в 3%. В то время как для стандартного ImageNet точность предсказаний составляла 97%. ImageNet-A был собран исследователями из University of Berkeley, University of Washington и University of Chicago.

Данные состоят из 7.5 тысяч изображений объектов, которые нейросети сложно классифицировать. Эти объекты — это “естественные состязательные примеры” для нейросетей. Особенность изображений в том, что они содержат естественные оптические иллюзии, которые нейросеть не может распознать.

Детали создания датасета

Датасет содержит объекты 200 классов. Классы объектов для датасета выбирались на основе следующих критериев:

• Не использовать редкие классы объектов (например, снежный леопард);
• Объекты, которые менялись после 2012 года (например, iPod);
• Абстрактные классы объектов (например, спираль);
• Классы объектов, которые представляют фон изображения (например, долина);
• Пересекающиеся классы объектов

Для фильтрации изображений объектов, которые плохо предсказываются нейросетью, исследователи использовали две ResNet-50 нейросети. Одна была предобучена на ImageNet-1K и дообучена на подвыборке из 200 классов. Вторая была предобучена на ImageNet-1K, где 200 из 1000 классов использовались для классификации. Оба классификатора имели схожую точность. Если какая-либо из моделей присваивала изображению класс с уверенностью более чем 15%, изображение отбрасывалось.

Результаты

Результаты проверялись на DenseNet-121 и ResNeXt-50 архитектурах. Обе модели предсказывают объекты из датасета с точностью в 3%. В то время как для стандартного ImageNet точность предсказаний составляет 97%. Результаты незначительно улучшаются при использовании трюков для увеличения устойчивости классификаторов. Среди тех трюков, которые были попробованы: состязательное обучения, аугментация данных, метрики неуверенности в предсказании. 

Почему это важно

ImageNet-A был опубликован для исследований устойчивости нейросетей к неоднозначным изображениям объектов. Исследования в области помогут увеличить обобщающую способность моделей.