DeepMind представила визуальную языковую модель с 80 млрд параметров |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2022-05-04 20:12 ИИ-лаборатория DeepMind разработала семейство моделей Flamingo, выполняющих больший объем работы с менее дорогостоящим и трудоемким обучением.
Модель предназначена для комбинирования ввода текста и изображения, чтобы получить только текстовый ответ. Flamingo обучили на специальном датасете, созданном для мультимодальных исследований машинного обучения. Набор состоит из 185 млн изображений и 182 Гб текста, полученных из общедоступного интернета. Одним из компонентов Flamingo является предварительно обученная языковая модель Chinchilla LM с 70 млрд параметров. DeepMind «объединил» алгоритм с элементами визуального обучения. Также инженеры добавили «промежуточные компоненты новой архитектуры», которые сохраняют данные изолированными и замороженными, давая им 80-миллиардный параметр Flamingo VLM.
По словам представителей организации, Flamingo превосходит предыдущие подходы к обучению с использованием нескольких шагов. Также модель оказалась эффективнее точно настроенных алгоритмов, использующих большее количество данных. В перспективе Flamingo может уменьшить количество потребляемой энергии при обучении ИИ и снизить потребность в высокопроизводительном оборудовании. Однако в компании не раскрыли деталей, за счет чего они добились таких результатов. Разработчики подчеркнули, что Flamingo можно быстро адаптировать к условиям с ограниченными ресурсами и для задач с низким уровнем ресурсов вроде оценки предвзятости ИИ. Напомним, в апреле DeepMind представила языковую модель Chinchilla с 70 млрд параметров. Источник: forklog.com Комментарии: |
|