RouteLLM - фреймворк с открытым исходным кодом для эффективной маршрутизации между несколькими LLM

Метод построения маршрутов (роутеров) использует данные о предпочтениях для обучения управляющего роутера, который может предсказывать, какие запросы могут быть обработаны слабыми моделями, а какие требуют более мощных.

RouteLLM обещает значительное снижение затрат без ущерба для качества ответов. В тестах, таких как MT Bench и MMLU, RouteLLM достиг высокой производительности при меньшем количестве вызовов на мощные модели.

В фреймворке реализована поддержка вызова по API (OpenAI, Anthropic, Google, Amazon Bedrock) и локального бекэнда (Ollama)

Преднастроены 4 роутера, обученных на паре моделей gpt-4-1106-preview и mixtral-8x7b-instruct-v0.1 :

mf - использует модель матричной факторизации, обученную на данных о предпочтениях

sw_ranking - использует взвешенный расчет ELO для маршрутизации, где каждый голос взвешивается в зависимости от того, насколько он похож на запрос пользователя

bert - использует классификатор BERT

causal_llm - использует классификатор отдельной LLM настроенный на данные о предпочтениях.

random - случайным образом направляет запрос к случайной модели.

https://github.com/lm-sys/RouteLLM

https://arxiv.org/pdf/2406.18665

https://huggingface.co/routellm

Источник: github.com

Комментарии: