Как запустить мощную LLM у себя на компьютере: DeepSeek Coder офлайн за 10 строк кода

Хотите, чтобы нейросеть для генерации кода работала полностью локально, не отправляла ваши данные в облако и легко встраивалась в вашего Telegram-бота? Всё что нужно — Python и несколько гигабайт свободного места.

Базовая установка и запуск

Всё сводится к установке трёх библиотек и простому скрипту:

```

pip install -U transformers accelerate torch

```

```

from transformers import AutoModelForCausalLM, AutoTokenizer

import torch

# Загружаем модель DeepSeek Coder (есть версии 1.3B, 6.7B, 33B параметров)

model_name = "deepseek-ai/deepseek-coder-6.7b-base"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(

model_name,

trust_remote_code=True,

torch_dtype=torch.float16, # экономим память на GPU

device_map="auto" # автоматом использует GPU, если есть

)

model.eval()

# Генерируем код по промпту

prompt = "Напиши telegram бота обратной связи на aiogram"

inputs = tokenizer(prompt, return_tensors="pt")

inputs = {k: v.to(model.device) for k, v in inputs.items()}

with torch.inference_mode():

outputs = model.generate(**inputs, max_new_tokens=180)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

```

Первая загрузка скачает веса модели (несколько ГБ). Дальше она будет работать полностью офлайн.

Ключевые преимущества такого подхода

Полная приватность: Ваши промпты и код никуда не уходят.

Интеграция: Модель — просто Python-объект. Можно встроить в Telegram-бота, веб-сервис или CLI-утилиту.

Контроль: Сами выбираете температуру (temperature), длину ответа и другие параметры.

Оптимизация под ваше железо

Много RAM, но нет мощной GPU? Уберите torch_dtype=torch.float16 и device_map="auto" — модель будет работать на CPU.

Мало оперативной памяти? Используйте квантованные версии (4-bit, 8-bit через bitsandbytes) или GGUF-формат для llama.cpp.

Есть NVIDIA GPU? device_map="auto" само всё распределит. Чем больше видеопамяти — тем большую модель сможете запустить.

Сохраняйте этот шаблон — он станет основой для ваших локальных ИИ-инструментов.

Источник: vk.com

Комментарии: