Pangea: открытая мультиязычная МLLM для 39 языков и инструктивный датасет |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2024-10-25 15:23 PANGEA (https://huggingface.co/neulab/Pangea-7B) - это модель с 7.94 млрд. параметров на архитектуре LLaVA-Next и с Qwen2-7B-Instruct в качестве LLM-основы, которая была обученная на инструктивном датасете PANGEAINS. PANGEA предназначена для "преодоления" культурных и языковых барьеров в задачах визуального понимания в задачах мультимодального чата, создания аннотаций к изображениям, понимания контекста культурных особенностей, обработке многоязычных VQA и рассуждений на разные темы. Инструктивный датасет PANGEAINS (https://huggingface.co/datasets/neulab/PangeaInstruct) состоит из 6 млн. мультимодальных инструкций на 39 языках. Перевод инструкций с английского языка на другие выполнялся с помощью Gemini 1.5 Pro. Оценка PANGEA проводилась с использованием набора тестов PANGEABENCH(14 наборов данных на 47 языках) . PANGEA продемонстрировала значительные улучшения в кросс-лингвистическом и кросс-культурном понимании. Репозиторий (https://github.com/neulab/Pangea) PANGEA на Github содержит подробные инструкции и скрипты по установке (https://github.com/neulab/Pangea?tab=readme-ov-file#setting-up), тонкой настройке (https://github.com/neulab/Pangea?tab=readme-ov-file#training), оценке результатов (https://github.com/neulab/Pangea?tab=readme-ov-file#evaluation) обучения и примеры разметки данных (https://github.com/neulab/Pangea?tab=readme-ov-file#sample-data-and-format) для файнтюна. ?Лицензирование: Apache 2.0 License. ?Страница проекта (https://neulab.github.io/Pangea/) ?Arxiv (https://arxiv.org/pdf/2410.16153) ?Датасет (https://huggingface.co/datasets/neulab/PangeaInstruct) ?Demo (https://huggingface.co/spaces/neulab/Pangea) ?Github (https://github.com/neulab/Pangea) Источник: github.com Комментарии: |
|