По данным The Information, первой китайской компанией, которая полностью избавится от Nvidia даже на обучении LLM, станет DeepSeek

По данным The Information, первой китайской компанией, которая полностью избавится от Nvidia даже на обучении LLM, станет DeepSeek. У российских экспертов бытует мнение, что китайцы делают обучение моделей только на Nvidia, а инференс уже готовых моделей на Huawei, но это уже не совсем так.

DeepSeek V4 оптимизирован на инференс именно на Huawei как главную платформу, даже квантизацию его в NVFP4 делала сама Nvidia, т.к. китайцам это было не интересно. При обучении DeepSeek V4 реально применялся гибрид из чипов Huawei и Nvidia, как ранее писал Reuters. Сейчас время обучения моделей на Reinforcement Learning, а также ИИ-сингулярности обучения, поэтому в реальности там огромное потребление токенов агентами обслуживания RL-процесса, который сейчас 90% затрат на обучение современной LLM. Конечно, инференс для таких агентов на Huawei уже в обучении. Сложнее с обновлением самих весов.

Основная проблема китайцев — это не железо, а пропасть между CUDA от Nvidia и CANN от Huawei, есть огромный технический долг по CUDA. Однако способность ИИ переписывать код с огромной скоростью с платформы на платформу стала game changer в 2026 году для обучения моделей.

DeepSeek тут главный китайский инноватор, и КПК ему прямо ставит задачу «убить Nvidia в Китае». Что уже сделал DeepSeek:

* Фреймворк для обучения (TorchTitan-NPU + AutoFuse): это, пожалуй, самый значимый шаг. В рамках адаптации DeepSeek V4 для платформы Ascend на CANN был представлен «минималистичный» практический подход к оптимизации обучения — TorchTitan-NPU + AutoFuse. Это не просто инструмент для инференса, а полноценный фреймворк для предварительного обучения и дообучения (continual pre-training, CPT) моделей на NPU Huawei.

* Кастомные операторы (Ascend C): для эффективной работы на Ascend был создан ряд кастомных операторов (fusion operators) на языке Ascend C — это любимые DeepSeek низкоуровневые оптимизации под железо.

* Технологическая оптимизация MegaMoE — это схема мелкозернистого экспертного параллелизма (fine-grained expert parallelism). Её цель — сделать работу MoE на обучении такой же быстрой, как на GPU Nvidia, так и на NPU Huawei Ascend.

* Обеспечение CANN поддержки открытым RL-фреймворком verl, что позволяет проводить обучение с подкреплением (RL) для моделей вроде DeepSeek на кластерах Ascend. Также Huawei и DeepSeek совместно ведут проект TileLang-Ascend для этой задачи.

В 2027 году DeepSeek готовится выпустить модели около 5T параметров класса Fable/Astra. Для обучения они монтируют кластер из 200 000 чипов Ascend 950, для сравнения обучение можно было бы провести им и на 50 000 Nvidia GB300.

Однако позиция китайцев: ИИ-суверенитет не является «суверенной LLM» только. Если у тебя нет своих GPU для обучения и инференса моделей, то никакого ИИ-суверенитета у тебя реально нет, т.к. ты критически зависим от доступа к оборудованию из США.

Поэтому Си Цзиньпин и Лян Вэньфэн тут солидарны в подходе настоящего ИИ-суверенитета на отечественные GPU — «мы за ценой не постоим». Это так и есть: вложения Правительства КНР в тематику собственных чипов превышают $100 миллиардов уже.

https://www.theinformation.com/articles/deepseek-bets-big-huawei-chips-bypass-u-s-export-controls

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: