Text Generation Inference v2.0.0 ?— ? готовый сервер для инференса LLM, написанный на Rust, Python и gRPC.

Инференс ML-модели - это процесс её работы на конечном устройстве. Поэтому, чем больше мы разгоняем инференс, тем быстрее работает модель.

В новую версию Text Generation Inference ? добавлена поддержка модели Command R+.

TGI - самый быстрый сервер с открытым исходным кодом для Command R+

Используя возможности Medusa heads, на тестах достигается беспрецедентная скорость с задержкой всего в 9 мс на токен для модели 104B!

ПОддерживает популярные Lms с открытым исходным кодомД Llama, Falcon, StarCoder, BLOOM, GPT-NeoX и другие.

https://github.com/huggingface/text-generation-inference

https://huggingface.co/docs/text-generation-inference/installation

Источник: github.com

Комментарии: