Стартап Percepta зашил полноценный интерпретатор языка C прямо в веса трансформера

Стартап Percepta зашил полноценный интерпретатор языка C прямо в веса трансформера. Раньше нейросети умели лишь угадывать следующий токен и беспомощно дёргать внешние песочницы с кодом. Теперь модель самостоятельно крутит скомпилированные программы со скоростью 30 000 токенов за 1 секунду на обычном CPU.

Магия кроется в отказе от классического механизма внимания ради новых двумерных голов. Стандартная архитектура задыхается от квадратичной деградации скорости при малейшем увеличении контекста. Обновлённая математика Percepta обрабатывает каждый свежий токен за логарифмическое время. Благодаря этому трюку сеть легко переваривает 1 000 000 вычислительных шагов подряд без просадок по производительности.

Для проверки разработчики скормили трансформеру написанный на C решатель судоку. Нейросеть щёлкает сложнейшие сетки со 100% точностью исключительно силами внутренней механики. Тяжеловесная GPT-4 на подобных задачах безнадёжно буксует без доступа к внешнему терминалу. Особая ирония заключается в происхождении тестового бенчмарка — идеальный код для проверки сгенерировал конкурирующий ИИ Claude.

Профильные форумы уже хоронят дорогие токены рассуждения и готовятся к переходу на гибридные архитектуры. Встроенный вычислительный модуль будет моментально генерировать черновые варианты, а большая сеть — просто проверять результат.

Источник: vk.com

Комментарии: