Сakana AI (это японский стартап, основанный исследователями из Google) напилили Text-to-LoRA

Суть: создание адаптера LoRA на лету по текстовому описанию задачи. Обычно, чтобы настроить языковую модель на конкретную задачу, требуется пердолинг с датасетом (сбор данных, разметка), дообучение и дрочба с подбором гиперпараметров. Вместо этого T2L использует гиперсеть, которая генерирует матрицы адаптации LoRA по обычному текстовому описанию задачи.

Самое интересное — разработчики обещают, что оно может работать с незнакомыми типами задач. Получается эдакий вайбкодинг для файнтюна моделек. Работает с Mistral, Llama и Gemma. В пейпере пишут, что стоимость запуска этого ништяка в среднем в 4 раза ниже, чем стандартное обучение на примерах.

Но есть и ложка дегтя: работает оно более-менее нормально только с хорошо расписанным промптом, просто написать "сделай, чтоб задача решилась быстро, хорошо и заебись" не получится — на выходе будет лора, которая делает красиво, но не то, что хотелось.

Тут статья: https://arxiv.org/abs/2506.06105

Тут код: https://github.com/SakanaAI/text-to-lora

Источник: arxiv.org

Комментарии: