FNNP: уменьшение размера нейросети с помощью батч-нормализации

FNNP — это алгоритм для сокращения размера обученной нейросети. Во время экспериментов исследователи сокращали размер MobileNet V1 и ResNet-50. FNNP обошла предыдущие подходы на 3.8% по итоговой точности предсказаний уменьшенной нейросети.

Поиск избыточной части в обученной нейросети — это ключевая задача алгоритмов прунинга. Прунинг алгоритмы нацелены на уменьшение размера нейросети так, что минимально потерять в точности предсказаний модели. Часть алгоритмов пытаются предсказать качество работы сокращенной модели с помощью новых методов оценки. Такие методы либо неточные, либо вычислительно сложные для общего применения. 

Fast Neural Network Pruning (FNNP) — это прунинг-алгоритм, в который встроен метод оценки качества модели (adaptive-BN-based evaluation). Предложенный метод оценки основан на адаптивной батч-нормализации и помогает устанавливать связь между подсетями и итоговой точностью их предсказаний. Так, FNNP помогает сократить время на выбор оптимальной подсети с лучшей итоговой точностью из множества подсетей. FNNP не требует дополнительной регуляризации и обучения с учителем.

Как это работает

Пайплайн алгоритма состоит из трех частей: 

• Генерация стратегии прунинга выдает стратегии в формате векторов с послойным рейтингом прунинга. Рейтинг прунинга для каждого слоя модели семплируется случайно. Стратегии фильтруются по заранее заданным параметрам;
• Прунинг полноразмерной сети с помощью сгенерированных стратегий;
• Оценка качества подсетей через метод, основанный на адаптивной батч-нормализации

Проверка работы алгоритма

Исследователи сравнили FNNP с state-of-the-art прунинг методами: ThiNet, NetAdapt, Filter Pruning, AMC и Meta-Pruning. Метод оценки сгенерированных подсетей, основанный на адаптивной батч-нормализации, обходит конкурирующие подходы.