Покажу один из примеров, где локальные модели вполне могут справляться с поставленными задачами

Покажу один из примеров, где локальные модели вполне могут справляться с поставленными задачами. Есть открытый проект Vane, в прошлом назывался Perplexica. Как можно понять из названия, это копия функциональности Perplexity. Автор переименовался, потому что хочет развивать продукт в другом ключе, а не делать клон популярного сервиса.

Vane работает на базе открытого поисковика SearxNG. Он собирает поисковую выдачу, передаёт результат в ИИ, который формирует ответ. Всё это работает локально и управляется вами. В чём преимущество и удобство Vane? Тут три основных момента.

1) Вы управляете через настройки SearxNG поисковой выдачей. Можете выбирать поисковую систему, или несколько систем, с которых будет браться выдача.

2) Вы сами выбираете модель, которая будет формировать выдачу. Это могут быть как платные внешние модели, типа OpenAI, Gemini, Groq, Anthropic, так и локальные, запущенные через Ollama или LM Studio.

3) Все результаты хранятся у вас локально. Нет риска быть забаненными и потерять все диалоги.

Я погонял этот движок на базе локальных моделей через LM Studio. Настройка очень простая. У меня всё сразу получилось. При использовании моделей Openai/gpt-oss-20B, Qwen3.6-35B-A3B, Qwen3-Coder-30B-A3B ответ готовится 1-3 минуты, что вполне терпимо. И при этом он нормального качества. Если брать модели попроще, то качество ответов мне не понравилось.

Рассказываю, как всё это настроить у себя. Запускаем Vane на любой виртуальной машине. Много ресурсов не надо, 4vCPU и 4GB памяти хватает за глаза. Может и меньше - это стандартный размер моей тестовой виртуалки.

# docker run -d -p 3000:3000 -v vane-data:/home/vane/data --name vane itzcrazykns1337/vane:latest

Vane запустится сразу с настроенным SearxNG, где по умолчанию настроен поисковик Google. Для постоянного использования SearxNG лучше установить и настроить отдельно, чтобы можно было управлять выдачей. Это нетрудно сделать. Для тестов хватит и гугла.

Качаем и устанавливаем LM Studio. Там простой установщик, сложностей никаких нет. Запускаем LM Studio, идём в раздел Model Search, там где робот с лупой нарисован. Ставим максимально возможную для вас модель. Проще всего начать с Qwen или GPT-OSS. Они для этих задач хорошо подходят.

Идём в раздел Local Server, загружаем скачанную модель. Контекст выставляем примерно 20 000. Мне его всегда хватало. Если меньше, то иногда поисковик ругался, что не хватает контекста. После загрузки модели включаем ползунок Status: Stopped, чтобы он стал Status: Running. В свойствах сервера активируйте параметр Serve on Local Network, чтобы он стал доступен по сети, а не только локально.

Открываем в браузере виртуалку с Vane на порту 3000. Он запущен без аутентификации, сразу можно работать. Идём в настройки, нажимаем Add Connection, выбираем Connection Type - LM Studio и указываем адрес машины с запущенной ИИ, порт по умолчанию 1234. У меня адрес LM Studio - 192.168.137.200:1234.

Заходим в добавленное подключение, выбираем Chat Model - openai/gpt-oss-20b, Embedding Model - all-MiniLM-L6-v2. Я не знаю, чем они принципиально отличаются. С этой мне больше всего понравилась скорость и результаты.

На этом всё. Открываем новый чат и вводим запрос. Работает примерно так же, как бесплатная Perplexity, только тут вы управляете и поисковиком, и моделью. Можете подключить нормальную коммерческую, результат будет отличный, и при этом всё хранится и управляется вами.

Понравилось, что он умеет ходить на заданные сайты и готовить выжимку из новостей, или конкретной статьи. Не пишет, как Qwen, что я не умею ходить по ссылкам. Важно, чтобы сайт его не распознал, как работа и не заблокировал парсинг. Какие-то блокируют, какие-то нет.

Из багов заметил, что иногда падал контейнер с Vane, когда использовал разные embedding модели, в том числе запущенные в LM Studio. Со стандартной all-MiniLM-L6-v2 проблем не было.

Получается вполне себе функциональное и прикладное решение.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: