Pangea: открытая мультиязычная МLLM для 39 языков и инструктивный датасет

PANGEA (https://huggingface.co/neulab/Pangea-7B) - это модель с 7.94 млрд. параметров на архитектуре LLaVA-Next и с Qwen2-7B-Instruct в качестве LLM-основы, которая была обученная на инструктивном датасете PANGEAINS.

PANGEA предназначена для "преодоления" культурных и языковых барьеров в задачах визуального понимания в задачах мультимодального чата, создания аннотаций к изображениям, понимания контекста культурных особенностей, обработке многоязычных VQA и рассуждений на разные темы.

Инструктивный датасет PANGEAINS (https://huggingface.co/datasets/neulab/PangeaInstruct) состоит из 6 млн. мультимодальных инструкций на 39 языках. Перевод инструкций с английского языка на другие выполнялся с помощью Gemini 1.5 Pro.

Оценка PANGEA проводилась с использованием набора тестов PANGEABENCH(14 наборов данных на 47 языках) .

PANGEA продемонстрировала значительные улучшения в кросс-лингвистическом и кросс-культурном понимании.

Репозиторий (https://github.com/neulab/Pangea) PANGEA на Github содержит подробные инструкции и скрипты по установке (https://github.com/neulab/Pangea?tab=readme-ov-file#setting-up), тонкой настройке (https://github.com/neulab/Pangea?tab=readme-ov-file#training), оценке результатов (https://github.com/neulab/Pangea?tab=readme-ov-file#evaluation) обучения и примеры разметки данных (https://github.com/neulab/Pangea?tab=readme-ov-file#sample-data-and-format) для файнтюна.

?Лицензирование: Apache 2.0 License.

?Страница проекта (https://neulab.github.io/Pangea/)

?Arxiv (https://arxiv.org/pdf/2410.16153)

?Датасет (https://huggingface.co/datasets/neulab/PangeaInstruct)

?Demo (https://huggingface.co/spaces/neulab/Pangea)

?Github (https://github.com/neulab/Pangea)

Источник: github.com

Комментарии: