Llama-3.1-Centaur-70B: модель симуляции поведения человека

Centaur (https://huggingface.co/marcelbinz/Llama-3.1-Centaur-70B-adapter) - модель, которая способная предсказывать и симулировать поведение человека в любом психологическом эксперименте, который можно описать на естественном языке.

Это первая модель, соответствующая большинству критериев Ньюэлла для универсальной теории познания, включая способность действовать как почти произвольная функция окружающей среды и работать в реальном времени.

Centaur создана на основе Llama 3.1 70B и дообучена на наборе данных Psych-101, включающем данные 60 000 участников, давших суммарно 10 000 000 ответов в 160 психологических экспериментах.

Psych-101 (https://huggingface.co/datasets/marcelbinz/Psych-101) охватывает широкий спектр областей когнитивной науки: игровые автоматы, принятие решений, память, обучение с учителем, процессы принятия решений Маркова и др.

Centaur дообучалась методом QLoRA: к каждому слою базовой Llama 3.1 70B были добавлены низкоранговые адаптеры, при этом параметры базовой модели остались неизменными.

Обучение проводилось на всем наборе данных с использованием стандартной функции потерь кросс-энтропии. Потери маскировались для всех токенов, не соответствующих ответам людей, чтобы итоговая модель фокусировалась на моделировании поведения человека.

В большинстве проведенных экспериментов Centaur превосходит как базовую модель Llama, так и специализированные когнитивные модели, разработанные для конкретных областей психологии.

Кроме того, Centaur обобщает знания на "незнакомые" ситуации, которые не входили в датасет обучения: точно предсказывает поведение при измененных формулировках задач, структурах проблем и даже в совершенно новых областях.

Важный результат экспериментального тестирования - соответствия внутренних представлений Centaur нейронной активности человека.

Это открытие было подтверждено 2 исследованиями, в которых внутренние представления модели использовались для предсказания активности мозга. Centaur продемонстрировала улучшенную декодируемость по сравнению с Llama в задачах, связанных с чтением предложений и выполнением двухэтапных задач.

Centaur обучена на наборе данных, в котором выбор человека выражается символами "<<" и ">>".

Для оптимальной работы рекомендуется соответствующим образом настроить промпты.

Модель запускается на 80 GB GPU.

Лицензирование: Llama 3.1 Community License.

Лицензирование датасета : Apache 2.0 License.

Модель (https://huggingface.co/marcelbinz/Llama-3.1-Centaur-70B-adapter)

Техотчет (https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf)

Датасет (https://huggingface.co/datasets/marcelbinz/Psych-101)

Источник: huggingface.co

Комментарии: