20-летний студент "выжег" microGPT Андрея Карпаты

Вместо того чтобы гонять питоновские скрипты через неповоротливые прослойки CUDA, парень взял крошечную модель microGPT Андрея Карпати и хардкодом "выжег" её на FPGA-плате размером с кредитку. Никакого софта, процессоров и оперативной памяти - чип сам стал трансформером на уровне логических вентилей. Результат? Безумные 53 тысячи токенов в секунду на железе за 300 баксов.

Если в обычных условиях процессор мучительно тягает веса туда-сюда по памяти, то здесь они намертво зашиты в кремний, а слои модели - физические провода. Захотел поменять архитектуру нейросети? Будь добр перепаять схему. И это не просто студенческая забава: в том же Торонто стартап Taalas уже поднял больше $200 млн, чтобы делать ровно то же самое в промышленных масштабах. Они впечатывают 8-миллиардную Llama прямо в кристалл TSMC, превращая программный код в кусок монолитного железа.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: