Собираем ИИ-агента, Часть 8

Если оболочка – это тело, а LLM – мозг агента, то движок – его нервная система. Движок нужен потому, что сама по себе нейросеть – всего лишь файл (или несколько файлов) с миллиардами чисел. Движок нарезает этот массив на части (слои), сжимает (квантует), загружает в память и запускает вычислительный процесс. Простая аналогия: LLM – это видеофайл, а движок – видеоплеер, который позволяет видеофайлы запускать.

Большинство движков представляют собой универсальный рантайм, то есть позволяют разворачивать не только LLM, но также нейросети других типов, включая эмбеддеры, реранкеры, визуальные трансформеры, свёрточные нейросети. Это хорошая новость, потому что для полноценного агента, при всём многообразии задействованных в ней моделей, обычно достаточно одного-двух движков.

Самые популярные (и настоятельно рекомендованные, по крайней мере – не старте) движки для локального деплоя:

1) llama.cpp – запускается на любом железе, дружит с любым софтом, подходит для разных архитектур (видеокарта, процессор, ИИ-чип). Позволяет тонко настраивать все параметры инференса. Служит основой для большинства других движков. Подходит как начинающим, так и продвинутым пользователям. Кстати, разработчики llama.cpp придумали самый популярный формат для LLM – GGUF.

2) Ollama – обёртка над llama.cpp с GUI. User-friendly движок, прост в использовании, глубоко интегрирован с ollama.com, нативно поддерживается многими оболочками (вроде Open WebUI) и коробочными агентными средами (вроде Hermes). Идеален для тех, кто только вкатывается, потому что имеет минимум настроек, но это же является его ключевым ограничением.

Ещё упомяну три движка, которые изначально разрабатывались как серверные решения, но вполне могут использоваться и локально:

1) vLLM – благодаря технологии PagedAttention даёт сверхсжатие KV-кэша. Разработан для обслуживания множества пользователей на одном GPU.

2) TensorRT-LLM – разработан компанией NVIDIA. Даёт самую высокую скорость инференса, но только на чипах NVIDIA.

3) Hugging Face TGI – разработан командой Hugging Face, заточен под Docker и вообще Linux.

Как выбрать движок для своего агента?

На самом деле, в абсолютном большинстве случаев вам подойдут llama.cpp и Ollama. Они универсальны, просты в конфигурировании. llama.cpp скачивается из офф репозитория на Git под конкретную архитектуру, а Ollama устанавливается как обычное десктопное приложение.

Несколько конкретных сценариев из личного опыта:

Для ноутбуков без дискретной видеокарты лучше всего подходят llama.cpp или Ollama, потому что они лёгковесные (особенно llama.cpp) и умеют эффективно работать с CPU / RAM.

Если речь о Mac – llama.cpp предпочтительнее, потому что этот движок лучше остальных оптимизирован под унифицированную память чипов M4, M5, M6.

На ноутбуке, ПК или неттопе с дискретной видеокартой помимо llama.cpp имеет смысл попробовать vLLM, поскольку оптимизация кэша даёт плюсы и для одного пользователя (меньше расход памяти и выше скорость инференса).

Если же у вас видеокарта от NVIDIA, тогда ваш выбор – TensorRT-LLM, потому что только на этом движке получится выжать максимальную скорость инференса.

Собственно, база у нас теперь собрана – оболочка, LLM, движок. Дальше соберём RAG-конвейер и пойдём по external инструментамы

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: