Google AI Research представила новую языковую модель PaLM

МЕНЮ


Главная страница
Поиск
Регистрация на сайте
Помощь проекту
Архив новостей

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости


Новая модель содержит 540 миллиардов параметров, за счет чего способна объяснять шутки и угадывать фильмы по эмодзи.

Google AI Research представила новую языковую модель PaLM (Pathways Language Model). Как и модель GPT-3, про которую мы много писали ранее, PaLM относится к так называемым большим языковым моделям.

PaLM анализирует естественный язык и может генерировать текст в ответ. Модели удается  выстраивать логические цепочки и отличать причину от следствия. Кроме того, система способна  объяснять шутки, логически рассуждать, пояснять свои действия, а также угадывать фильм по эмодзи. Несмотря на то, что в датасете для обучения содержалось всего 5% текстов на языках программирования, PaLM удается генерировать код по описанию, переводить его с одного языка программирования на другой и даже исправлять ошибки компиляции. 

PaLM может применяться для задач  few-short learning, то есть способна решать новую задачу, увидев небольшое количество размеченных примеров. Новая модель обучена на многоязычных наборах, а не только на английском языке. Среди них — веб-документы, книги, Википедия, разговоры и код GitHub.

По словам создателей,  при обучении данной языковой модели эффективно использовалась  производительность вычислительных систем. Создателями применялась стратегия параллелизма по данным, согласно которой модель обучается на нескольких вычислителях (в случае PaLM – TPU), притом на каждом вычислителе используется только часть обучающей выборки.

Автор: Ольга Шелухина

Редактор: Вера Шимко

Иллюстратор: Евгения Родикова

Теги:Google AI Research, PaLM, Pathways Language Model, языковые модели


Источник: sysblok.ru

Комментарии: