Fine-tuning больших LLM больше не обязан быть мучительно медленным

4 open-source библиотеки, которые ускоряют обучение моделей:

1. Unsloth AI

Ускоряет fine-tuning Qwen, Llama, Gemma и других моделей, снижает расход VRAM, подходит даже для consumer GPU и Colab/Kaggle.

https://github.com/unslothai/unsloth

2. LLaMA Factory

Удобный CLI и WebUI для fine-tuning 100+ моделей. Поддерживает LoRA, QLoRA, full/frozen tuning и разные режимы квантования.

https://github.com/hiyouga/LLaMA-Factory

3. DeepSpeed

Фреймворк для масштабного distributed training: ZeRO, FSDP, multi-GPU, multi-node и продвинутая оптимизация памяти.

https://github.com/deepspeedai/DeepSpeed

4. Axolotl

Yaml-based пайплайн для LoRA/QLoRA, DPO, GRPO и multimodal fine-tuning. Хорошо дружит с Hugging Face.

https://github.com/axolotl-ai-cloud/axolotl

Телеграм: t.me/ainewsline

Источник: github.com

Комментарии: