За полчаса установил DeepSeek 1.5B, пока вы искали GPT подешевле |
||
|
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ Атаки на ИИ Внедрение ИИИИ теория Компьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Промпты. Генеративные запросы Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2025-05-17 11:18 Решил установить и протестировать возможности DeepSeek 1.5B — компактной языковой модели, которая работает без тяжёлого железа и запускается даже на домашнем сервере. В этой статье покажу и расскажу:
DeepSeek и его возможности У модели DeepSeek 1.5B — 1,5 миллиарда параметров. Это немного по меркам топовых моделей, но для большинства задач этого хватает с головой. Особенно если не хочется поднимать ферму или платить за каждую сессию в API. Поэтому я решил запустить DeepSeek через Ollama — удобный инструмент для управления локальными LLM. Там всё максимально просто: загрузка модели, развёртывание, обновления — на всё одна команда. Модель работает на сервере, без обращения к внешним API. То есть данные не уходят за периметр и можно не переживать о политике конфиденциальности очередного SaaS-сервиса. Для фронта буду использовать Open WebUI. Интерфейс лаконичный, но функциональный, подойдёт, если лень всё гонять через CLI или писать свои обёртки. Где можно использовать DeepSeek? У меня изначально был простой запрос: найти локальную модель, которую можно запустить без облаков и без покупки RTX 4090. А DeepSeek 1.5B спокойно работает на сервере с 8–16 Гб оперативки и средним процессором. Умеет создавать чат-ботов, отвечать на вопросы, анализировать и писать тексты, генерировать идеи и код. Узнал, что DeepSeek 1.5B часто тестируют небольшие команды, стартапы или просто айтишники, которые хотят поэкспериментировать с языковыми моделями без сложной инфраструктуры и лишних трат. Я как раз такой айтишник. Подготовка сервера Ubuntu 24.04 Перед тем как запускать DeepSeek 1.5B, привёл сервер в порядок — модель не взлетит, если система завалена мусором. Поэтому сначала чистка, апдейты, установка нужных пакетов. Важно, чтобы всё работало стабильно: Ollama, WebUI и сама модель. Первые шаги: обновление системы Сначала я освежил Ubuntu 24.04. Подключиться к серверу можно через SSH или открыть терминал, если работаете локально. Так я обновил списки пакетов и установил последние версии программ. Дождался завершения процесса и взялся за установку важных утилит:
Проверка ресурсов сервера Чтобы убедиться, что сервер впустит DeepSeek 1.5B, проверяю доступную оперативную память с помощью команды: free -h Чтобы модель работала, хватит 8 Гб RAM, но 16 Гб дадут больше свободы. Если памяти не хватает, надо создать swap-файл, чтобы система не капризничала во время нагрузки. Как создать swap-файл на 4 Гб: ![]() Чтобы swap-файл работал и после перезагрузки, добавляю его в /etc/fstab: ![]() Теперь проверяю процессор: Lscpu ![]() Да, DeepSeek не требует суперсовременного CPU, но многоядерный процессор (4 ядра и более) ускорит работу. Даже если у вас сервер поменьше, модель всё равно запустится, просто не так быстро. Я тестировал на «MacBook Pro M1 Pro» — всё ок. Установка Docker: фундамент для Ollama и Open WebUI Здесь нужны Ollama и Open WebUI, которые лучше всего работают в контейнерах Docker. Для установки сначала добавляю официальный репозиторий Docker: ![]() Добавляю репозиторий в источники APT: Теперь устанавливаю Docker: Так как у меня он уже установлен, то сообщение выглядит чуть иначе: ![]() Запускаю Docker и включаю его автозапуск: Чтобы работать с Docker без sudo, добавляю своего пользователя в группу docker: Теперь нужно перезайти в сессию (или переподключиться по SSH), чтобы всё заработало. Проверка окружения Решил семь раз отмерить — один отрезать. Хочу убедиться, что всё готово, поэтому проверяю версию Docker: docker --version На экране должно появиться что-то вроде Docker version 27.0.3 или новее. Теперь проверяю, работает ли docker compose: ![]() Если обе команды отвечают без ошибок, сервер готов. Но если есть проблема, проверяйте логи (sudo journalctl -u docker) или почитайте документацию Docker. В итоге я обновил систему, установил Docker, чтобы Ollama и Open WebUI чувствовали себя как дома, и проверил ресурсы, чтобы DeepSeek задышал. Установка и настройка Ollama Ollama — это инструмент с открытым кодом, созданный для работы с языковыми моделями на локальных машинах. Она берёт на себя работу по загрузке, управлению и запуску моделей, давая для этого простой интерфейс, будь то командная строка или API. Установка Ollama Ollama официально поддерживает запуск через собственный скрипт, но я выбрал другой путь — с Docker. Поэтому сначала создал директорию для хранения данных Ollama, чтобы модели и настройки не терялись: mkdir -p ~/ollama Теперь запускаю Ollama в Docker-контейнере:
После выполнения команды проверяю, работает ли контейнер: docker ps ![]() Так контейнер с именем ollama появляется в списке. А если что-то пошло не так, проверяйте логи снова: ![]() Проверяю, что Ollama работает: curl http://localhost:11434 ![]() Если с ней всё окей, вы получите ответ, похожий на: Ollama is running. Но если ответа нет, проверьте, открыт ли порт 11434 (sudo netstat -tuln | grep 11434) и работает ли контейнер. Настраиваю Ollama для DeepSeek Ollama сама по себе не содержит DeepSeek 1.5B — модель нужно загрузить. Но сначала надо убедиться, что Ollama настроена правильно. По умолчанию она использует порт 11434 и хранит модели в папке, которую я подключил (~/ollama). Если хочется изменить порт или другие параметры, можно отредактировать запуск контейнера. Например, для другого порта (скажем, 11435): Но для моего случая стандартный порт подойдёт. Если у вас есть GPU, то Ollama автоматически попытается использовать его для ускорения работы моделей. Чтобы проверить, видит ли Ollama GPU, я запускаю тестовую модель (маленькую llama3): Если модель загрузилась и отвечает — отлично. Выйти из режима общения можно с помощью Ctrl+D. Загрузка может занять время, но это нормально для первого запуска. Автозапуск Ollama Чтобы Ollama запускалась вместе с сервером, я настроил Docker для автозапуска. Но важно, чтобы в случае сбоев контейнер перезапустился. Поэтому добавляю политику перезапуска: Теперь Ollama будет подниматься автоматически. Вообще, Ollama — это мост между вами и DeepSeek 1.5B. То есть она упрощает работу с моделью и позволяет запускать её без глубоких знаний о нейронных сетях. Через её API я смогу подключить Open WebUI, чтобы общаться с моделью через браузер или интегрировать её в приложения. Разворачиваю DeepSeek 1.5B DeepSeek 1.5B весит около 3–4 Гб в сжатом виде, но перед загрузкой всё равно надо убедиться, что у меня есть хотя бы 10 Гб свободного места в директории ~/ollama, чтобы учесть временные файлы и кеш. Ollama умеет загружать модели автоматически, но DeepSeek 1.5B может потребовать уточнения имени или источника, так как это не стандартная модель из её библиотеки. На момент написания статьи (май 2025 года) DeepSeek 1.5B доступна через сторонние репозитории или кастомные настройки. Для простоты предположу, что вы используете модель, доступную через Ollama, или уже загрузили её файл вручную. Вот так Ollama скачает и подготовит DeepSeek 1.5B: ![]() Примечание. Если модель deepseek:1.5b недоступна напрямую в Ollama, нужно импортировать её из файла. Загрузите файл модели (обычно в формате GGUF) из официального источника DeepSeek или из других доверенных источников вроде Hugging Face. Затем импортируйте её в Ollama: Жду завершения загрузки. У каждого это будет разное время — всё зависит от скорости интернета и мощности сервера. Просто смотрите за прогрессом в терминале. После завершения загрузки запускаю DeepSeek через Ollama: Ollama откроет интерактивный режим, где я могу задать любой вопрос. Например: Если модель отвечает — поздравляю, всё получилось. Для выхода из режима нажмите Ctrl+D. Если модель не запускается, проверяю логи: docker logs ollama Частые проблемы: недостаток памяти (проверьте free -h), неверный формат файла модели или ошибка сети при загрузке. Если возникли баги, убедитесь, что файл модели цел и совместим с Ollama. Тестирование возможностей Чтобы лучше понять, на что способен DeepSeek 1.5B, задайте ему несколько вопросов разной сложности. Например:
Ещё советую записать ответы и использовать их позже при настройке Open WebUI. Оптимизация работы DeepSeek 1.5B достаточно лёгок, но на слабых серверах может работать медленно. Как спастись от тормозов системы:
У меня всё работает, и я готов к созданию удобного интерфейса с помощью Open WebUI. Настраиваю Open WebUI Общаться с ИИ через терминал я не хочу, а красивый и удобный интерфейс — хочу. Поэтому обратился к Open WebUI — открытому веб-приложению, который и создан для работы с языковыми моделями через Ollama. Так всё будет происходить в чате, история сообщений сохранится и можно будет дополнительно настраивать поведение модели. Open WebUI работает в браузере, а значит, можно общаться с ИИ с любого устройства. Установка Open WebUI Open WebUI, как и Ollama, лучше всего себя чувствует в Docker-контейнере. Мой сервер уже знает Docker, так что я просто добавлю ещё один контейнер, который свяжется с Ollama. Сначала создаю директорию для хранения данных Open WebUI: mkdir -p ~/open-webui Теперь запускаю Open WebUI в Docker-контейнере:
Проверяю, работает ли контейнер: docker ps Должен появиться контейнер с именем open-webui. Если что-то идёт не так, проверяйте логи: docker logs open-webui ![]() Подключение Open WebUI к Ollama Open WebUI автоматически ищет Ollama по адресу host.docker.internal:11434. Поскольку я запустил Ollama на порте 11434 (как описано в предыдущей главе), они должны легко найти друг друга. Чтобы убедиться, что всё работает, открываю браузер и перехожу по адресу: http://<ваш_IP_сервера>:8080 Например, если ваш сервер имеет IP 192.168.1.100, введите http://192.168.1.100:8080. Если вы работаете локально, используйте http://localhost:8080. При первом запуске Open WebUI просит создать учётную запись. Я ввожу имя пользователя, пароль и адрес электронной почты. Это защитит мой интерфейс от чужих глаз, особенно если сервер доступен из внешней сети. ![]() Захожу и вижу чат-интерфейс. В верхнем меню выбираю модель deepseek-r1:1.5b (она должна появиться, если Ollama работает корректно). Если модель не отображается, проверяю:
Теперь, когда Open WebUI настроен, нужно задать DeepSeek вопрос через веб-интерфейс. Что-то из этого:
Ещё Open WebUI помогает настраивать параметры модели, такие как температура (для креативности ответов) или максимальная длина ответа, через настройки в интерфейсе. Дополнительная настройка: безопасность и доступ Если ваш сервер доступен из интернета, обезопасьте Open WebUI:
Если вам захочется поделиться с кем-то доступом, создайте дополнительные учётные записи в интерфейсе Open WebUI (раздел Settings ? Users). Ну и всё. Теперь Open WebUI превратил DeepSeek 1.5B из командной строки в полноценного помощника, с которым можно общаться через браузер. Тонкости работы с DeepSeek В процессе работы понял, что у DeepSeek 1.5B есть несколько секретов. 1. Точность запросов DeepSeek лучше отвечает, если запрос чёткий и содержит контекст. Чем больше деталей, тем лучше результат. Вместо «Напиши код» уточните: «Напиши Python-функцию для сортировки списка чисел методом пузырька». 2. Параметры в Open WebUI В Open WebUI вы можете менять параметры модели:
Экспериментируйте с этими настройками в разделе Model Settings в Open WebUI. 3. Ограничения модели DeepSeek 1.5B не гигант вроде GPT-4, поэтому:
Если задача слишком сложная, разбейте её на части. Вместо «Напиши приложение», начните с «Напиши структуру REST API». 4. Оптимизация производительности На слабых серверах DeepSeek может быть медленным. Чтобы ускорить его:
5. Локализация и языки DeepSeek хорошо понимает русский язык, но иногда его ответы не такие естественные, как на английском. Если результат не идеален, попробуйте переформулировать запрос или задать его на английском, а затем попросите перевести: Answer in English: what is quantum computing? Then translate to Russian. Заключение и перспективы Что я в итоге сделал: начал с подготовки сервера Ubuntu 24.04 и убрал всё лишнее. Затем добавил Ollama, которая оживила DeepSeek 1.5B. Загрузил модель и поместил в Open WebUI, чтобы общаться с ней через браузер. Затем проверил её: протестировал на ответы для клиентов и на написание кода. Узнал тонкости, которые делают её работу ещё лучше. Получается, что DeepSeek помогает:
Кто-нибудь из вас пробовал работать с DeepSeek? Как вам? Источник: habr.com Комментарии: |
|