Если вы услышите очередного алармиста, который будет рассказывать вам сказки, что все вендоры LLM работают в убыток за счёт инвесторов, поэтому ИИ - это пузырь, покажите ему эту картинку с прогрессом

Если вы услышите очередного алармиста, который будет рассказывать вам сказки, что все вендоры LLM работают в убыток за счёт инвесторов, поэтому ИИ - это пузырь, покажите ему эту картинку с прогрессом сокращения потребления памяти DeepSeek. Только за последние 9 месяцев DeepSeek сократил размер KV-кэша на токен в 54 раза. По факту это почти линейно связано с себестоимостью инференса, т.к. память — самый дорогой ресурс в ИИ-кластере. Также если вы сокращаете размер KV-кэша, вы примерно так же сокращаете объём вычислений ядер вокруг него. Меньше информации — меньше вычислений.

Именно так DeepSeek, несмотря на фантастически низкие цены, по данным The Information получает фантастическую маржу около 70%. Если брать модели Flash-класса, то экономически они уже абсолютно устойчивые.

Если брать американские фронтиры, то Anthropic тоже уже прибыльный, но Дарио просто поставил цену в токенах относительно себестоимости с маржой 50%. Убыточны только абонентские подписки Anthropic, поэтому Амодеи держит их судьбу подвешенной. Однако Anthropic тоже финансово устойчив и прибыльный. Если инвесторы скажут прекратить дотации на абонентские подписки, то Дарио их отменит, но на его бизнесе это не скажется: его реальные клиенты в Enterprise, и они уже платят только за токены.

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: