Валидация гиперпараметров — ключевой этап обучения ML-модели

Валидация гиперпараметров — ключевой этап обучения ML-модели. Объясним сложный термин простыми словами.

ML-инженеры всегда устанавливают гиперпараметры вручную до начала обучения модели и не меняют их в процессе. Это, например, число слоев в нейронной сети.

Искусство подобрать нужные параметры называется валидацией гиперпараметров. Если пренебречь этим процессом, вся работа пойдет насмарку. Получится:

Переобучение (Overfitting) — модель покажет отличные результаты на тренировочных данных и провальные — на новых.

Недообучение (Underfitting) — модель не сможет улавливать скрытые закономерности.

Вот методы валидации гиперпараметров:

— Ручная настройка

Пробуйте и ошибайтесь. Вы получите полное понимание того, как изменение гиперпараметра влияет на результат. Однако метод не подходит для больших моделей.

— Поиск по сетке (Grid Search)

Задавайте диапазоны значений для каждого гиперпараметра, и алгоритм проверит все их комбинации.

— Поиск случайного подхода (Random Search)

Случайным образом выбирайте комбинации гиперпараметров из заданных диапазонов.

— Байесовская оптимизация

Используйте статистическую модель, чтобы на основе предыдущих результатов решать, какие гиперпараметры стоит попробовать дальше. Очень сложно, но чрезвычайно эффективно.

Источник: vk.com

Комментарии: