Модель без текста вместо LLM: создатель ChatGPT выпустил «модель для быстрых решений»

Диогу Алмейда, бывший исследователь OpenAI, участвовавший в создании ChatGPT и разработке RLHF (обучения с подкреплением на основе обратной связи от людей), считает, что большие языковые модели слишком сильно оптимизированы под человеческий язык. По его словам, это ограничивает их применение в автоматизации, где программам чаще нужны не тексты, а конкретные решения. Два года назад Алмейда ушёл из OpenAI и основал TypeSafe AI, недавно компания выпустила Jev — трансформерную модель, которая не относится к LLM и вместо текста выдаёт вероятности заранее определённых решений.

Такой подход позволяет сделать модель значительно быстрее и дешевле, а заранее заданный набор вариантов исключает галлюцинации в привычном смысле: Jev не генерирует произвольный текст.

Компания измеряет входные токены миллиардами, а выходные делает бесплатными.

Интерес разработчиков оказался настолько высоким, что TypeSafe на короткое время не смогла обслуживать пользователей через API из-за нагрузки. В Vercel, по словам инженера компании Пранита Шармы, после замены модели OpenAI на Jev проверка инструкций стала выполняться в 5–18 раз быстрее и с большей точностью. В другом тесте Jev классифицировала деловые письма немного менее точно, чем Gemini, но оказалась в 10–20 раз дешевле. Особенно разработчики оценили то, что модель возвращает числовую вероятность своего решения.

Jev может использоваться не только вместо LLM, но и вместе с ними: например, для проверки действий ИИ-агентов, обнаружения попыток обхода ограничений и отслеживания их последовательностей действий. Ещё один вариант — маршрутизация запросов, когда отдельная модель в реальном времени решает, достаточно ли для конкретной задачи дешёвой системы или требуется более мощная. При этом архитектуру Jev TypeSafe подробно не раскрывает. Алмейда говорит, что модель обучается исключительно на синтетических данных с помощью собственного подхода, который компания называет «обучением с подкреплением на основе калиброванных решений».

Название Jev отсылает к экономисту Уильяму Стэнли Джевонсу (William Stanley Jevons) и парадоксу Джевонса: снижение стоимости ресурса может привести к росту его использования. TypeSafe рассчитывает применить тот же принцип к машинному обучению — сделать простые интеллектуальные решения настолько дешёвыми и быстрыми, чтобы их можно было встраивать непосредственно в программное обеспечение. Компания уже планирует выпускать новые версии модели для других модальностей.