Lucid: как интерпретировать результаты нейросети

Разработчики TensorFlow опубликовали Lucid, коллекцию инструментов для исследования интерпретируемости нейросетевых моделей. Все доступные методы интерпретации представлены в формате Jupyter ноутбуков. В текущей версии Lucid не поддерживает TensorFlow 2.0. К каждому ноутбуку идет обзорная статья, которая описывает отдельные методы интерпретации нейросетей.

Тьюториалы в готовых ноутбуках

Формат ноутбуков позволяет визуализировать работу нейросети без дополнительной установки библиотек. Исследователи использовали инструмент от Google для публикации тьюториалов, — Colaboratory. Все вычисления в Colaboratory проходят в облаке. Использование инструмента не требует никакой дополнительной установки. Помимо этого, ноутбуки можно тестировать на локальной машине. Чтобы сделать это, достаточно клонировать оригинальный репозиторий Lucid. Тьюториалы расположены в отдельной папке.

С чего начать 

В Lucid есть два вводных тьюториала: введение в функционал Lucid и в функционал Modelzoo. Modelzoo — это агрегатор открытых имплементаций моделей. Его API упрощает тестирование различных архитектур.

Визуализация признаков

Для визуализации признаков доступны такие методы, как:

• Негативные нейроны: для проверки того, как устроено пространство скрытых представлений, которые выучивает ;
• Визуализация разнообразия: чтобы понять, каково разнообразие признаков, которые активируют нейроны;
• Взаимодействия нейронов: для исследования, как нейроны объединяются и взаимодействуют;
• Регуляризация визуализации признаков 

Визуализация работы нейросети

Чтобы визуализировать работу нейросети, можно воспользоваться следующими методами:

• Семантические словари: активации нейронов комбинируются с визуализацией признаков, чтобы понять, какие нейроны отвечают за какие признаки;
• Сетки активации (activation grids), чтобы исследовать, как нейросеть интерпретировала каждую из позиций в пространстве входных данных;
• Группы нейронов: как нейроны группируются, чтобы представить представить объекты на изображении

Дифференцируемая параметризация изображения

Lucid позволяет делать перенос стиля для 2D и 3D объектов внутри ноутбуков.

Исследование функций активации

Чтобы исследовать, как работают активации, в Lucid есть функционал для отрисовки атласов активации, атласов активации отдельных классов, сбора активаций и проведения высокоуровневых состязательных атак.