Image generation: class visualization(or input image optimize) on PyTorch using MNIST and Fashion MNIST datasets.

Когда мы уже имеем обученную модель нейронной сети для классификации изображений, мы можем «попросить» нашу модель показать нам ее идеал :)

Вкратце о том, как это сделать:
Берем изображение(), подаем его на вход нейронной сети, получаем какой-то ответ, считаем значение функции потерь от ответа сети и того класса, который мы хотим получить, дальше стандартная схема — backpropogation, только обновляем уже не веса нейронной сети, а нашу входную картинку.

Чуть-чуть другими словами можно найти в моем ноутбуке.

Ссылку на гитхаб прикреплю в конце поста, а пока давайте посмотрим что же там получилось :)
Я пробовал генерировать картинки на двух датасетах — MNIST(рукописные цифры) и Fashion MNIST(одежда).

MNIST:

Остальные цифры можно посмотреть в ноутбуке, самая плохая цифра — 9, у этой модели явно свое восприятие цифр :D

Fashion MNIST: (только самые удачные, остальные — в ноутбуке)

Отмечу, что итоговые картинки получаются разными при разных архитектурах сети(и от итоговой точности модели зависят не так уж и сильно).

У кого получатся картинки более внятные на некоторых классах — добро пожаловать в комментарии!
Ссылка на гитхаб с ноутбуком: https://github.com/YaphetS7/Machine-Learning/tree/master/Image_generation

P.S. немного отрефакторил код (из важных изменений — это только деление матрицы весов(перед обновлением) на размер батча) с кастомной нейронной сетью, понял все до мельчайшей подробностей. Вот ссылочка на гитхаб:
https://github.com/YaphetS7/Machine-Learning/tree/master/Custom_neural_network

Источник: m.vk.com

Комментарии: