Нейросети без видеокарт? Стартап показал альтернативу GPU

Канадский стартап Taalas показал чип HC1 с довольно радикальным подходом к работе нейросетей. Вместо привычной схемы, где модель запускается на видеокарте, здесь её буквально «запекают» в кремнии. Архитектура и веса становятся частью самого чипа ?

Первый вариант HC1 оптимизирован под модель Llama 3.1 8B. По словам разработчиков, он способен генерировать до 17.000 токенов в секунду, заметно опережая современные ускорители. Для сравнения, топовый NVIDIA H200 в похожих условиях выдаёт ~230–300 токенов.

Такой подход позволяет отказаться от дорогой памяти HBM и внешних хранилищ. Всё хранится прямо в кристалле, что снижает задержки при работе с данными и делает систему энергоэффективнее ?

Главный минус — жёсткая привязка к конкретной модели. Если нужна другая нейросеть, потребуется новый чип. В Taalas говорят, что разработка кремния под новую модель может занимать около двух месяцев. При этом компания оставила поддержку LoRA-адаптеров и возможность настраивать размер контекстного окна.

Весной стартап планирует представить чип для более сложных моделей с поддержкой логических рассуждений, а к зиме обещает второе поколение кремния для крупных нейросетей

Источник: vk.com

Комментарии: