Какая информация в нейросети теряется, когда сокращают ее размер

Исследователи из Google Brain предложили фреймворк для поиска классов и изображений в данных, для которых уменьшенная и оригинальная нейросети сильнее всего расходятся в предсказаниях. Pruning Identified Exemplars (PIEs) — это объекты в данных, для которых точность нейросети с меньшим размером систематически ниже в сравнении с оригинальной моделью. Прунинг — это способ снижения размера обученной нейросети через сжатие.

Описание проблемы

Сокращение размера нейросети без значительной потери обобщающей способности все еще остается открытой проблемой. Одним из методом сокращения размера нейросети является прунинг (pruning). Цена за топ-1 точность минимальна, если распределена равномерно по классам. В случае если распределение неравномерно, при использовании методов прунинга точность на отдельных классах может быть значительно ниже, чем на остальных.

Понимание таких компромиссов является критичным для тех моделей, которые используются в решении сенситивных задач. Примерами сенситивных задач являются прием на работу, диагностика заболеваний или автономное вождение. Для таких задач прунинг может противоречить целевым функциям, которые должны обеспечивать максимальную полноту отдельных классов. Прунинг уже активно применяется в описанных кейсах. Это в первую очередь вызвано ограничениями ресурсов на внедрение модели на мобильные телефоны или встроенные устройства.

Исследователи рассматривают прунинг как избирательное повреждение мозга (selective brain damage). Прунинг неравномерно влияет на точность модели для отдельных классов. Часть классов непропорционально сильнее подвержены снижению точности после уменьшения размера сети. По результатам исследования, прунинг значительно сокращает устойчивость модели к модификациям изображений и естественным состязательным изображениям.

PIE: Pruning Identified Exemplars

PIEs — это изображения, для которых чаще всего отличаются предсказания оригинальной модели и модели после прунинга. Исследователи искали PIEs в ImageNet. Они отметили, что если отфильтровать PIE примеры из тестового датасета, предсказательная способность обоих моделей возрастет.

Ниже видно, что уменьшенной модели сложнее всего предсказывать такие классы изображений, как пауки-волки, обезьяны-белки, норы и солнечные часы.

Pruned модели широко используются в кейсах, где ресурсы на работу моделей ограничены. Например, в мобильных устройствах. Результаты исследователей показывают, что топ-1 или топ-5 точность на тестовом наборе данных не раскрывает информацию о том, как прунинг влияет на способность модели к генерализации.