Работает ли закон масштабирования?

Все это не шутки. Заявленные планы бигтехов на развертывание мощностей под ИИ в период с 2026 по 2032 составляют около 150 ГВт в эквиваленте мощности текущих вычислительных кластеров на базе Blackwell, что составляет около 6 трлн долларов инвестиций из расчете средней стоимости 1 ГВТ около 40 млрд в соответствии с собственными расчетами.

На конец 2025 совокупные ИИ мощности всех бигтехов с учетом OpenAI оцениваются в 12-14 ГВт, т.е. предполагается увеличить на порядок за следующие 7 лет от базы 2025 – это невероятно.

Вся концепция экспоненциального расширения мощностей сводится к идеи, что если LLMs непрерывно обучать, то рано или поздно случится прорыв, которые изменит «законы мироздания», когда ИИ станет достаточно умен, чтобы перенять от человека все исследовательские функции и «выхаркивать» по звездолету ежедневно, кратно увеличивая технологический прогресс человечества и производительность экономики, сделав всех счастливыми и сказочно богатыми.

По сути, стремятся к контролю над миром и к замене человеческого мозга более эффективной субстанцией.

Вот эта все фантастическая концепция сводится к закону масштабирования, но работает ли он?

Закон масштабирования работает, но … до определенной границы и при оправленных условиях.

Если вы берёте один и тот же тип модели и даёте ей больше мозга (параметров), больше еды (данных) и больше тренировок (вычислений), качество в среднем предсказуемо улучшается.

• Увеличиваем размер модели ? систематически падает средняя ошибка предсказания;

• Увеличиваем объём данных ? модель устойчивее к редким паттернам;

• Увеличиваем суммарные вычисления (дольше и тщательнее учим) ? выжимаем из архитектуры больше потенциала.

Если дать LLMs больше знаний, больше примеров и более прочный эмпирический каркас через который она ловит закономерности, это приводит к росту производительности.

Здесь есть логика. Человек с самого рождения не обладает никакими навыками, знаниями и компетенциями. Все это приходит во время теоретического и практического обучения и только с опытом.

На протяжении жизни человек впитывает огромное количество контента через аудио и визуал, но оставляя обработанным, запоминаемым около 5%.

К определенному возрасту человек приобретает достаточный набор знаний, чтобы эффективно ориентироваться в пространстве, принимать сбалансированные решения, взвешивать факторы риска и при определенных обстоятельствах совершать открытия, генерировать новые идеи и концепции.

Машина имеет важное преимущество - она запоминает все и с неимоверной скоростью (в миллионы раз быстрее человека) и ничего не забывает, что по логике должно сделать модель сверхумной (тот путь, который человек проходит за всю жизнь, в LLMs можно вогнать за минуты или секунды), но сделает ли?

Проблема исчерпания качественных данных – на определенном уровне происходит заражение системы токсичными данными, что приводит к деградации «понятийного аппарата», зашумливая механизм интерпретации.

Рост вычислений и обучения не приводит к результату без качественной обратной связи и критерия истинности.

Увеличение размера модели не приводит к результату, если сами по себе параметры – дефектные без многоуровневой верификации.

Однако, вне зависимости от масштаба обучения, архитектурно современные LLMs – тупиковая ветвь из-за ранее описанных ограничений (1 и 2) с невозможностью самообучения и ограниченным набором обратных связей, с невозможностью динамической балансировки параметров, выстраивания иерархических и причинно-следственных связей, отсутствия отбора существенных факторов и параметров, без планирования, целеполагания, мотивации и интуитивных моделей, свойственных человеческому мозгу.

LLMs эффективны в стационарном мире прошлого, но не могут эффективно функционировать в динамическом мире настоящего в условиях незапрограммированных вариаций, т.е. не способны к экспромту в сложном и противоречивом физическом мире, где часто нет однозначностей.

Все это к тому, что экономический эффект от 6 трлн плановых инвестиций может быть не тем, на который рассчитывают.

Источник: vk.com

Комментарии: