NVIDIA показала, как дообучать и запускать большие языковые модели прямо на Jetson через Unsloth

Новый туториал Jetson AI Lab разбирает полный локальный пайплайн:

- fine-tuning через QLoRA

- экспорт модели в GGUF

- запуск через llama.cpp

- работа без облака прямо на Jetson

В примерах используют Qwen3.5-4B на Jetson Orin Nano и Nemotron 3.5 Lightning 30B-A3B на Jetson AGX Thor.

Для Qwen достаточно около 40 ГБ свободного NVMe, для Nemotron потребуется примерно 270 ГБ. Всё работает на JetPack 7.2 и Python 3.12.

Особенно интересно, что Jetson теперь можно использовать не только для инференса, но и для полноценного локального дообучения моделей на edge-устройстве.

https://www.jetson-ai-lab.com/tutorials/unsloth-on-jetson/

Телеграм: t.me/ainewsline

Источник: www.jetson-ai-lab.com

Комментарии: