Как установить и использовать ИИ модель DeepSeek R-1 на вашем компьютере

В настоящее время DeepSeek можно использовать бесплатно, что является отличной новостью для пользователей, но вызывает некоторые вопросы. Как при таком резком росте числа пользователей они справляются с затратами на сервера?

Ведь эксплуатационные расходы на оборудование не могут быть дешевыми, верно?

Единственный логичный ответ здесь - данные. Данные - это жизненная сила ИИ-моделей. Вероятно, они собирают данные о пользователях, чтобы использовать их для монетизации своей модели в будущем.

Поэтому, если вы беспокоитесь о конфиденциальности данных, но при этом хотите использовать R1, не предоставляя свои данные, лучший способ - запустить модель локально.

Что такое DeepSeek R-1?

Пару дней назад была представлена модель Deepseek R-1 с открытым исходным кодом, то есть любой желающий может взять базовый код, адаптировать его и даже доработать под свои нужды.

С технической точки зрения Deepseek R-1 (часто сокращенно R1) основана на большой базовой модели под названием DeepSeek-V3. Затем лаборатория усовершенствовала эту модель с помощью комбинации контролируемой тонкой настройки (SFT) на высококачественных данных, размеченных людьми, и обучения с подкреплением (RL).

В результате получился чатбот, который может обрабатывать сложные запросы, раскрывать логику сложных вопросов (иногда более прозрачно, чем другие модели) и даже отображать код в интерфейсе чата для быстрого тестирования.

Честно говоря, это очень впечатляет, особенно для модели с открытым исходным кодом.

Более подробно о модели читайте в статье:

Как запустить локально

Для локального запуска DeepSeek R-1 мы будем использовать инструмент под названием Ollama.

Ollama - это бесплатный инструмент с открытым исходным кодом, который позволяет пользователям запускать большие языковые модели (LLM) локально на своих компьютерах. Он доступен для macOS, Linux и Windows.

Перейдите на официальный сайт Ollama и нажмите на кнопку «Download». Установите его на свой компьютер.

Чтобы убедиться, что установка прошла успешно, откройте терминал и выполните следующую команду:

ollama -v

Вместо ошибки вы должны увидеть номер версии Ollama.

На вкладке Models выполните поиск по ключевому слову «deepseek», и вы должны увидеть «deepseek-r1» в первом пункте списка поиска.

Кликните на нее и перейдите в раздел Models (Модели), где вы увидите несколько размеров моделей - от 1,5 миллиардов до 671 миллиарда параметров. Как правило, для запуска больших моделей требуются более мощные графические процессоры.

Небольшие модели, такие как версия с 8 миллиардами параметров, могут работать с графическими процессорами с 8 ГБ видеопамяти. Более крупные модели требуют значительно больше ресурсов (см. раздел «Требования к VRAM и GPU» ниже).

Чтобы загрузить и запустить модель с 8 миллиардами параметров, выполните следующую команду:

ollama run deepseek-r1:8b

Начнется скачивание модели (около 4,9 ГБ). Убедитесь, что у вас достаточно места на диске, прежде чем приступать к работе.

После загрузки модель будет запущена локально на вашем компьютере. Вы сразу же сможете общаться с ней.

Давайте протестируем ее на примере этого промпта:

Промпт: What is DeepSeek R-1?

Ответ: DeepSeek-R-1 is an AI assistant developed by the Chinese company DeepSeek. It is designed to provide responses and assistance across a wide range of topics, including but not limited to mathematics, coding, natural language processing, and more. If you have any questions or need help with something, feel free to ask!

Великолепно. Она быстрая, и работает, даже если я отключаю ноутбук от Wi-Fi. Обратите внимание, что даже если вы подключены к Интернету, она все равно не может получить доступ к сети.

Промпт: What’s latest price of AAPL?

Ответ: As an AI assistant, I don’t have real-time data access, so I can’t provide the latest stock price for Apple Inc. (AAPL). For the most accurate and up-to-date information, I recommend checking financial news platforms or your brokerage service.

Другие вещи, которые может делать Ollama:

• Локальный запуск LLM, включая LLaMA2, Phi 4, Mistral и Gemma 2.

• Позволяет пользователям создавать собственные LLM и обмениваться ими.

• Объединяет веса моделей, конфигурацию и данные в единый пакет

• Оптимизирует детали установки и конфигурации, включая использование GPU

Требования к GPU и VRAM

Требования к VRAM для DeepSeek-R1 зависят от таких факторов, как размер модели, количество параметров и методы квантования. Ниже приведен подробный обзор требований к VRAM для DeepSeek-R1 и его дистиллированных моделей, а также рекомендуемые графические процессоры:

Ключевые замечания по использованию VRAM:

• Распределенная настройка GPU для больших моделей. Запуск DeepSeek-R1-Zero и DeepSeek-R1 требует значительного объема VRAM, поэтому для оптимальной производительности необходимы распределенные конфигурации GPU (например, NVIDIA A100 или H100 в системах с несколькими GPU).

• Совместимость с одним GPU для дистиллированных моделей. Дистиллированные модели оптимизированы для работы на одном GPU с меньшим объемом VRAM, начиная с 0,7 ГБ.

• Дополнительное использование памяти. Дополнительная память может быть использована для активаций, буферов и задач пакетной обработки.

Зачем запускать ее локально?

Конечно, веб-чатбот и мобильное приложение для DeepSeek бесплатны и невероятно удобны. Вам не нужно ничего настраивать, а такие функции, как DeepThink и веб-поиск, уже встроены в них. Но есть несколько причин, по которым локальная установка может быть лучшим выбором:

Конфиденциальность

• Когда вы используете веб-версию или приложение, ваши запросы и любые прикрепленные файлы отправляются на серверы DeepSeek для обработки. Что происходит с этими данными? Мы не знаем. При локальном запуске модели ваши данные остаются на вашем компьютере, что обеспечивает полный контроль над конфиденциальностью.

Оффлайн доступ

• Локальный запуск модели означает, что вам не нужно подключение к Интернету. Если вы путешествуете, имеете дело с нестабильным Wi-Fi или просто предпочитаете работать в автономном режиме, локальная установка позволит вам использовать DeepSeek в любое время и в любом месте.

Защита от будущей монетизации

• Сейчас услуги DeepSeek могут быть бесплатными, но вряд ли это будет продолжаться вечно. В какой-то момент они захотят монетизировать модель, и за этим могут последовать ограничения на использование или абонентская плата. Запустив модель локально, вы сможете полностью обойти эти ограничения.

Гибкость

• В локальной версии вы не ограничены настройками по умолчанию. Хотите доработать модель? Интегрировать ее с другими инструментами? Создать собственный интерфейс? Благодаря открытому исходному коду DeepSeek R-1 предоставляет вам безграничные возможности.

На данный момент неясно, как DeepSeek обрабатывает данные пользователей. Если вы не слишком беспокоитесь о конфиденциальности данных, то вам лучше всего использовать веб-приложение или мобильное приложение, поскольку они проще в использовании и предлагают такие функции, как DeepThink и веб-поиск. Если же вам небезразлично, к кому попадут ваши данные, стоит рассмотреть вариант локального запуска модели.

Модели DeepSeek разработаны таким образом, чтобы хорошо работать даже на не очень мощном оборудовании. В то время как большие модели, такие как DeepSeek-R1-Zero, нуждаются в распределенных GPU, дистиллированные версии позволяют плавно работать на одном графическом процессоре с гораздо более низкими требованиями.

Если вам не нравится использовать терминал, вы всегда можете добавить простой пользовательский интерфейс с помощью таких инструментов, как Gradio или Chatbox AI. Я напишу руководство по их настройке в следующей статье. Пока же я надеюсь, что этот пост поможет вам начать работу. Расскажите мне о своих мыслях, а если вы столкнулись с какими-то проблемами, не стесняйтесь поделиться ими в комментариях.

Источник: habr.com

Комментарии: