5 GitHub-репозиториев для дообучения ИИ-моделей под свои задачи

Научить модель соблюдать нужный формат, отвечать в вашем стиле или выполнять специализированные инструкции — для этого пригодятся:

1. LLaMA-Factory - удобный старт

Дообучение языковых и мультимодальных моделей через веб-интерфейс или CLI. Поддерживает полное обучение, LoRA и QLoRA.

https://github.com/hiyouga/LlamaFactory

2. Unsloth - когда ограничена видеопамять

Оптимизирует обучение поддерживаемых моделей, снижая расход памяти и ускоряя вычисления. Есть готовые ноутбуки для первых экспериментов.

https://github.com/unslothai/unsloth

3. Axolotl - обучение через конфиги

Позволяет описать модель, датасет и параметры обучения в YAML. Подходит для воспроизводимых экспериментов и запуска на нескольких GPU.

https://github.com/axolotl-ai-cloud/axolotl

4. PEFT - обучать небольшую часть параметров

Библиотека Hugging Face для LoRA и других экономных методов адаптации. Помогает уменьшить требования к памяти и размер сохраняемых адаптеров.

https://github.com/huggingface/peft

5. TRL - обучение на примерах, предпочтениях и наградах

Инструменты для SFT, DPO и обучения с подкреплением. Пригодится, когда нужно улучшать ответы по выбранным критериям качества.

https://github.com/huggingface/trl

Эти инструменты можно комбинировать: например, использовать TRL для процесса обучения, а PEFT — для LoRA-адаптации.

Телеграм: t.me/ainewsline

Источник: github.com

Комментарии: