MEAL V2: способ улучшить точность классификации ResNet-50 до 80%+ на ImageNet

MEAL V2 — это способ улучшить точность классификации стандартной ResNet-50 до 80%+ на датасете ImageNet без изменений в архитектуре. Код и модели доступны в открытом репозитории на GitHub.

Подробнее про подход

MEAL V2 основывается на MEAL, методе дистилляции знаний через дискриминаторы. В предложенном подходе упростили MEAL с помощью двух шагов:

1. Использовали функционал схожести и дискриминатор только итоговых выходов модели;
2. Усредняли softmax вероятности из всех ансамблей моделей-учителей. Это позволяет усилить контроль за дистилляцией

MEAL V2 позволяет обучить модель с state-of-the-art качеством без использования таких популярных трюков, как:

• Модификация архитектуры;
• Расширение обучающей выборки;
• Автоаугментации данных;
• Косинусного learning rate;
• Обучения с mixup или cutmix; 
• Label smoothing

На ImageNet предложенный метод достигает точности 80.67%. В качестве архитектуры сети использовали стандартную реализацию ResNet-50. Такая модель обходит существующие state-of-the-art подходы со схожей структурой сети.