Полезный список лучших инструментов, чтобы запускать мощные LLM полностью бесплатно и локально на своём ноутбуке

Полезный список лучших инструментов, чтобы запускать мощные LLM полностью бесплатно и локально на своём ноутбуке. Сейчас это №1 в трендах GitHub.

1. AnythingLLM

All-in-one workspace для чата с документами и создания агентов

http://github.com/Mintplex-Labs/anything-llm

2. KoboldCpp

Лёгкий инструмент, особенно хорош для creative writing и сценариев с персонажами

http://github.com/LostRuins/koboldcpp

3. llama.cpp

Базовый движок. Очень эффективный и запускается почти на любом железе

http://github.com/ggml-org/llama.cpp

4. Open WebUI

Удобный веб-интерфейс в стиле ChatGPT, отлично работает с Ollama

http://github.com/open-webui/open-webui

5. GPT4All

Простое desktop-приложение со встроенным чатом по документам

http://github.com/nomic-ai/gpt4all

6. LocalAI

OpenAI-compatible API, который работает на разном железе и поддерживает много backend’ов

http://github.com/mudler/LocalAI

7. vLLM

Быстрый inference engine, когда нужны более быстрые ответы и работа в масштабе

http://github.com/vllm-project/vllm

Телеграм: t.me/ainewsline

Источник: github.com

Комментарии: