ИИ-модель запустили на Raspberry Pi Zero

Энтузиаст Бинь Фам создал USB-устройство на базе Raspberry Pi Zero для локального запуска языковой модели искусственного интеллекта, генерирующей художественные тексты.

Программная часть проекта основана на библиотеке llama.cpp и утилите llamafile. Из-за ограничений Raspberry Pi Zero в 512 Мбайт оперативной памяти и процессора ARMv6 компиляция проекта оказалась сложной. Для решения проблемы Фам преобразовал оптимизированный для ARMv8 набор инструкций, удалив современные оптимизации.

Компьютер и плату расширения Бинь Фам поместил в корпус, распечатанный на 3D-принтере. Контекст ограничен 64 токенами, модели содержат от 15 млн до 136 млн параметров. Максимальная скорость составила 223 мс на токен для модели Tiny15M, а для Lamini-T5-Flan-77M и SmolLM2-136M — 2,5 и 2,2 с на токен соответственно.

Вместо управления через интерфейс командной строки энтузиаст предложил более удобный способ: создание пустого текстового файла с именем, которое служит запросом к модели. Система отправляет запрос к ИИ и записывает ответ в файл.

Источник: www.youtube.com

Комментарии: