Vane: Запускаем собственный AI поисковик на локальных моделях

МЕНЮ

Главная страница
Поиск
Регистрация на сайте
Помощь проекту
Архив новостей

ТЕМЫ

Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация

RSS

RSS новости

ИИ поисковик без зависимости от внешних провайдеров и полным контролем ваших данных

Популярные поисковые системы уже давно внедрили в работу AI компоненты, результаты работы которых можно наблюдать при обычном использовании, например, гугла или яндекса. Популярностью стали пользоваться и построенные на AI поисковики (Perplexity). Но всё это внешние ресурсы, имеющие склонность с коллекционированию данных, рекламе и ограничениям без оплаты того или иного тарифа.

В качестве альтернативы рассмотрим одну из самых известных поисковых систем с открытым исходным кодом Vane (ex Perplexica), позиционировавшаяся изначально как бесплатная альтернатива Perplexity. Это платформа, комбинирующая движок веб поиска на базе SearxNG, обработку результатов локальными или удалёнными моделями и пользовательскую обвязку, наполненную различными режимами, настройками и виджетами для удобства работы. Возможность полностью локального развёртывания обеспечивает необходимый уровень конфиденциальности поисковых запросов.

Я буду настраиваться на macOS (MacBook M1 Pro 16GB), но все используемые инструменты также поддерживаются на Linux и Windows системах.

Установка

  • Ставим Docker / Docker Desktop с официального сайта.

  • Для запуска локальных моделей поднимаем Ollama. Одним скриптом через curl или инсталлятором ставим приложение.

    • По умолчанию запустился сервис по адресу http://localhost:11434, однако нам потребуется доступ не только с этого устройства. Идём в конфигурацию и выставляем тумблер Ollama -> Settings -> Expose Ollama to the network. Также здесь можно отключить доступ к облачным моделям (снимаем тумблер Cloud), чтобы замкнуть контур.

    • Выбор модели. В блоге Ollama можно найти рекомендации для целей обработки поисковых запросов:
      • Qwen3 / Qwen 3.6 - высокая производительность, многошаговое рассуждение, отличная работа с извлечением данных.
      • Gemma 4 - хорошо оптимизированная модель, отлично справляется со сложными циклами поиска и рассуждения.
      • gpt-oss - лучшая специализация на длительных исследовательских задачах и параллельном веб-сканировании.
      • LLama 3.3 / Llama 4 - специализация на глубоком поиске на основе RAG, отлично справляется с обработкой и синтезом множества строк веб текста, собранного поисковым движком.

      Предложенные модели имеют вариации под разное количество параметров, чтобы удовлетворить даже не самое мощное железо. Для подбора под своё железо ориентировался на веб калькулятор whatmodelcanirun. Калькулятор выдал целый список доступных версий, среди которых Gemma 4 26B A4B, сильно порезанные Qwen3 / Qwen 3.5 и gpt-oss 20B.

    • Выгрузил последнюю через терминал: 

      1 
      ollama run gpt-oss:20b

    • Альтернативный вариант: добавить необходимые модели прямо в интерфейсе приложения Ollama на вкладке чата.

vane-screenshot-1

  • Устанавливаем Vane

    Рекомендуемым и быстрым способом запуска платформы является Docker (образ включает в себя в том числе поисковый движок SearxNG): 

    1 
      docker run -d -p 3000:3000 -v vane-data:/home/vane/data --name vane itzcrazykns1337/vane:latest

    По адресу http://localhost:3000 попадаем в веб интерфейс поисковика.

Подключение

  • Подключаем локальную модель

    • На главной странице создаём новое соединение (+ Add Connection) с сервером Ollama (прописываем адрес машины в локальной сети, у меня http://192.168.1.100:11434, а не localhost, если докер не в режиме хоста был запущен). Жмём Next.

    • Возможные проблемы при подключении к Ollama и способы их устранения описаны в README.md.

vane-screenshot-2

vane-screenshot-3

  • Выбираем нашу модель как Chat Model и Embedding Model (других то не поставили). Жмём Finish.

vane-screenshot-4

Тестовые запуски

  • Попадаем в новый чат. Делаем пробные запросы.

Модель забила по максимуму память и еще с десяток гб упал в swap, а в совокупности с докером и другими запущенными сервисами ответа я ждал минут 30. Не годится.

  • Заменил модель на куда более лёгкий вариант - Qwen3:8b.

1 
ollama run qwen3:8b

  • Модель сразу подхватывается в подключенном в Vane профиле соединения. Достаточно зайти в настройки и выбрать её из списка (Preferences -> Models -> Select models).

  • Возвращаемся в чат. Всё стало гораздо интереснее. Это конечно не гуглопоиск, где большое количество ссылок формируется моментально, но и результат совсем иной - помимо списка из целой горы источников, проанализированных движком, на выходе развёрнутый, структурированный, конкретный ответ - хоть сразу в статью заворачивай.

vane-screenshot-5

Выводы

Таким образом, даже слабенькая модель под управлением специализированного инструмента показала впечатляющие результаты. Движок поставил как замену поисковой системы в браузере по умолчанию, буду наблюдать и отмечать на сколько удобным и эффективным будет такое решение. Пока в пользовании всего несколько дней, информации собрано немного, но уже хочется загнать это дело на сервер помощнее, чтобы выжать еще больше скорости и сравнить работу разных локальных моделей.

Дополнительно

Как поставить Vane поисковиком по умолчанию в браузере (на примере Mozilla Firefox):

  • Идём в Настройки -> Поиск (about:preferences#search)
  • Под списком доступных поисковых систем - Добавить
  • Указываем любое имя и прописываем url для подстановки http://localhost:3000/?q=%s
  • Сохраняем и устанавливаем поисковой системой по умолчанию.

vane-screenshot-6

Популярные теги

selfhosted opensource tools ai security linux docker management telegram golang


Телеграм: t.me/ainewsline

Источник: desoft.ru

Комментарии: