Способность графических процессоров хорошо масштабировать производительность в вычислениях в условиях замедления классического «закона Мура» долгое время представлялась руководством Nvidia в качестве спасительного круга для всего человечества. Когда бурный рост систем искусственного интеллекта стал замедляться, на горизонте замаячили новые проблемы с масштабированием производительности.
Источник изображения: Nvidia
Как отмечается в публикации Financial Times, для многих в Кремниевой долине «закон Мура» был вытеснен новой концепцией: «законом масштабирования» искусственного интеллекта. До недавних пор считалось, что масштабирование вычислительной инфраструктуры и насыщение её б?льшими объёмами данных приводит к качественным изменениям в системах искусственного интеллекта. По сути, ожидалось, что за счёт этого ИИ будет становиться «умнее». Все крупные компании технологического сектора в итоге уже несколько кварталов подряд сосредоточены на активном наращивании вычислительной мощности своих центров обработки данных.
Ранее считалось, что существующие темпы роста производительности центров обработки данных будут сохраняться до тех пор, пока не будет создан «сверхинтеллект», способный превзойти человеческий, но при этом базирующийся на программных алгоритмах и зависимостях. Лишь в последние недели эксперты начали проявлять озабоченность тем, что новейшие большие языковые модели в исполнении OpenAI, Google и Anthropic не дают необходимого прогресса в соответствии с прежними тенденциями.
Покинувший OpenAI один из основателей стартапа Илья Суцкевер недавно заявил: «2010-е годы были эпохой масштабирования, но теперь мы вернулись в эпоху открытий и изумления». Примечательно, но Суцкевер ещё год назад был уверен, что всю поверхность Земли нужно будет покрыть солнечными панелями, которые будут питать столь же многочисленные центры обработки данных.
Многие участники рынка сходятся во мнении, что этап активного обучения языковых моделей подходит к концу, но для поддержания существующих темпов прогресса нужно заниматься следующим этапом. Глава Microsoft Сатья Наделла (Satya Nadella) считает, что замедление обучения больших языковых моделей не особо ограничивает темпы прогресса, поскольку системы искусственного интеллекта обретают возможность рассуждать. По мнению основателя Nvidia Дженсена Хуанга (Jensen Huang), даже снижение потребности в вычислительных ресурсах для обучения языковых моделей не будет означать снижения спроса на её продукцию. Разработчики систем ИИ будут стремиться сократить время реакции системы на задаваемые пользователями вопросы. Данная гонка потребует ещё большего количества аппаратных ресурсов, по мнению бессменного руководителя Nvidia, и это хорошо для бизнеса компании. Президент Microsoft Брэд Смит (Brad Smith) убеждён, что потребности рынка в чипах для ускорителей будут расти ещё как минимум на протяжении года.
Впрочем, переход систем ИИ на новый этап развития должен обеспечиваться появлением реальных сфер применения, которые полезны для бизнеса. С этим пока возникают проблемы, ведь любые инновации должны приносить материальную выгоду, а эффект от применения ИИ в его нынешнем виде во многих отраслях экономики пока не столь очевиден. Это не мешает технологическим гигантам вкладывать огромные суммы в расширение своих вычислительных ресурсов. В этом году совокупные капитальные затраты Microsoft, Amazon, Google и Meta? должны превысить $200 млрд, а в следующем они наверняка превзойдут $300 млрд, как считают представители Morgan Stanley.