Стартап, который бросил вызов Nvidia

Калифорнийский стартап Etched собирается конкурировать с Nvidia на рынке ИИ-кластеров для инференса (использование готовой модели без изменения её параметров) и уже достиг оценки в $21 млрд. У разработчиков уже подписаны контракты на поставку ИИ-серверов более чем на $1 млрд. Первый клиент уже получил свою стойку.

В отличие от обычного GPU, их ИИ-ускоритель Sohu ориентирована на инференс в нейросетях-трансформерах, на которых построены ChatGPT, Claude, DeepSeek и Qwen. Etched делит инференс на два этапа: prefill, когда модель обрабатывает запрос и его контекст, и decode, когда она генерирует ответ токен за токеном. Задержка обмена данными снижена примерно с 4000 до 700 нс по сравнению с Nvidia Blackwell.

Etched ставит на простую идею: по мере распространения ИИ всё важнее становится не обучение моделей, а инференс. Nvidia предлагает универсальные ускорители, а Etched пытается выиграть за счёт специализации.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: