Олег Бахтеев: Байесовский выбор модели глубокого обучения

В работе рассматривается задача автоматического построения моделей глубокого обучения оптимальной и субоптимальной сложности. Под сложностью модели понимается минимальная длина описания, т.е. минимальное количество информации, которое требуется для передачи информации о модели и о выборке. Вычисление минимальной длины описания модели является вычислительно сложной процедурой. В работе предлагается получение ее приближенной оценки, основанной на связи минимальной длины описания и обоснованности модели. Для получения оценки обоснованности используются вариационные методы получения оценки обоснованности, основанные на аппроксимации неизвестного апостериорного распределения другим заданным распределением. Под субоптимальной сложностью понимается вариационная оценка обоснованности модели. Одна из проблем построения моделей глубокого обучения — большое количество параметров моделей. Поэтому задача выбора моделей глубокого обучения включает в себя выбор стратегии построения модели, эффективной по вычислительным ресурсам.

Источник: www.youtube.com

Комментарии: