JSON для LLM — всё! Да здравствует Token-Oriented Object Notation

МЕНЮ

Главная страница
Поиск
Регистрация на сайте
Помощь проекту
Архив новостей

ТЕМЫ

Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация

RSS

RSS новости

Каждый, кто хоть раз всерьёз гонял запросы к LLM, знает, как больно бывает смотреть на счётчик токенов. Ты вроде просто отправляешь список пользователей в JSON, а нейросеть уже съела половину твоего бюджета.

TOON обещает сократить потребление токенов чуть ли не вдвое ?

Это формат сериализации данных JSON в LLM промпты. Он представляет те же объекты, массивы и примитивы, что и JSON, но в синтаксисе, который минимизирует количество токенов и упрощает понимание структуры для моделей.

https://proglib.io/w/136e99aa


Источник: github.com

Комментарии: