Регуляризация

Регуляризация

Когда размерность данных очень большая: количество признаков велико, возникает соблазн их все использовать, так как RMSE уменьшится. Однако, это плохая практика, так как в данных становится много шума. Чтобы его убрать и используют регуляризацию. По сути, это намеренное упрощение модели, которую мы хотим использовать. Упрощение состоит в выборе ненулевых фич или же уменьшении их влияния. Так или иначе, достигаются хорошие, практически значимые результаты, которые используются многими исследователями.

С точки зрения интерпретации, объяснение "зачем" можно выразить бесчисленным количеством способов. Это могут быть содержательные механические предпосылки, что коэффициент лежит в известных пределах, может быть вопрос веры в то, что изначально он ноль, а данные его "корректируют" и другие. Больше всего мне нравится история про "минимальную длину описания модели"(MDL), этот довольно естественный подход объясняют Geofrey et. al. в своей статье.

Комментарий по литературе.

Про Ridge и Lasso шикарно написано в ESL и мельком упомянуто про Grouped Lasso. Так как последнее - очень полезная вещь, на нее тоже стоит обратить внимание, например в Murphy или прикрепленной статье.

MDL рассказывается с уклоном в применение в нейронных сетях, но там все довольно прозрачно. Есть еще HAL и HAGL, про которые немного написано в Murphy и подробно в последней прикрепленной статье. В заключение, хочется рассказать про попытку сделать общую теорию выбора модели у Itzhak Gilboa. Чтение стоит начинать именно с этой статьи, там много философии.

https://vk.com/doc30479630_437573015?hash=21d454c0f1fe446b4e&dl=a3e0467b2140b9c977

Комментарии: