OBLITERATUS: хирургия отказов для открытых LLM

Тулкит находит в весах модели направления, отвечающие за отказы, и удаляет их без дообучения. Инструмент работает с open-weight моделями вроде Llama, Qwen, Mistral и Gemma.

• 9 методов: от быстрого basic до режимов для reasoning- и MoE-моделей

• анализ слоев, attention heads и геометрии отказов

• сравнение методов и оригинальной модели с измененной

• проверка refusal rate, perplexity, KL divergence и связности ответов

• сохранение результата как обычной Hugging Face модели

У Hermes есть skill: hermes skills install official/mlops/obliteratus

После этого можно попросить Hermes проверить GPU, подобрать модель и метод, запустить OBLITERATUS и оценить результат. Skill содержит полный сценарий работы, пресеты и проверки. Отдельно нужно установить зависимости.

Также есть на Hugging Face (скрин от туда).

Токены дёшево - https://closerouter.dev/?utm_source=vk

Телеграм: t.me/ainewsline

Источник: closerouter.dev

Комментарии: