DeepMind представила визуальную языковую модель с 80 млрд параметров

ИИ-лаборатория DeepMind разработала семейство моделей Flamingo, выполняющих больший объем работы с менее дорогостоящим и трудоемким обучением.

Introducing Flamingo ?: a generalist visual language model that can rapidly adapt its behaviour given just a handful of examples. Out of the box, it's also capable of rich visual dialog.

Read more: https://t.co/xEzqTizoJQ 1/ pic.twitter.com/GjlnDzbyOQ

— DeepMind (@DeepMind) April 28, 2022

Модель предназначена для комбинирования ввода текста и изображения, чтобы получить только текстовый ответ.

Flamingo обучили на специальном датасете, созданном для мультимодальных исследований машинного обучения. Набор состоит из 185 млн изображений и 182 Гб текста, полученных из общедоступного интернета.

Одним из компонентов Flamingo является предварительно обученная языковая модель Chinchilla LM с 70 млрд параметров. DeepMind «объединил» алгоритм с элементами визуального обучения. Также инженеры добавили «промежуточные компоненты новой архитектуры», которые сохраняют данные изолированными и замороженными, давая им 80-миллиардный параметр Flamingo VLM.

«Одна модель Flamingo может достигать самых высоких результатов в широком спектре задач, конкурируя с подходами, требующими точной настройки для конкретной задачи на большем количестве примеров», — заявили разработчики.

По словам представителей организации, Flamingo превосходит предыдущие подходы к обучению с использованием нескольких шагов. Также модель оказалась эффективнее точно настроенных алгоритмов, использующих большее количество данных.

В перспективе Flamingo может уменьшить количество потребляемой энергии при обучении ИИ и снизить потребность в высокопроизводительном оборудовании. Однако в компании не раскрыли деталей, за счет чего они добились таких результатов.

Разработчики подчеркнули, что Flamingo можно быстро адаптировать к условиям с ограниченными ресурсами и для задач с низким уровнем ресурсов вроде оценки предвзятости ИИ.

Напомним, в апреле DeepMind представила языковую модель Chinchilla с 70 млрд параметров.