Ох, градиент

Ох, градиент... Понятие, столь истошно извергнутое в одной из песен научно-технического рэпа. Одно из самых цитируемых слов современной науки о данных. И просто полезная в дизайне вещица.

Понимаете теперь, почему мне очень хотелось подчеркнуть иронию и назвать сегодняшний мем «50 оттенков градиента»? Поскольку это название уже было занято вышедшей ранее производной, решил обойтись без него.

Говоря по правде, в чистой математике градиент - штука понятная и строгая. Вот только когда его спускают с небес абстракций в многомерные дебри нейросетей, он превращается в вычислительный кошмар. Пока теоретики любуются красивыми формулами, прикладники из машинного обучения вынуждены страдать над энергозатратной угадайкой.

Ярость прикладника абсолютно оправдана. Обучение современной нейросети - это попытка вслепую перейти оживлённое шоссе. Чуть-чуть ошибёшься с шагом обучения - и модель тупеет, превращая терабайты расчётов в мусор. Приходится дневать и ночевать за монитором, гадать по графикам и сжигать кучу серверной энергии, молясь всем компьютерно-математическим богам, чтобы алгоритм обучения не застрял в очередной яме. А другого способа обучать нейросети сейчас, к сожалению, нет.

Как думаете, откроют всё-таки менее прожорливый способ градиентного спуска или прикладники обречены на вечный ад?

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: