ИИ всё лучше понимает человека

В марте этого года китайская компания Baidu представила первую версию ERNIE, нового фреймворка и модели для обработки естественного языка, который поднял настоящую волну в сообществе разработчиков NLP-систем, опередив Google BERT в различных задачах по анализу текстов на китайском языке. Теперь Baidu сообщила о выпуске новой версиимодели — ERNIE 2.0. В своей исследовательской работе учёные из Baidu утверждают, что ERNIE 2.0 превосходит модели BERT и более современную XLNet в 16 задачах NLP на китайском и английском языках.

ERNIE представляет собой предварительно обученную нейронную сеть, созданную при помощи PaddlePaddle — открытой платформы для глубокого обучения, созданной в Baidu. Процесс предварительного обучения NLP-моделей, таких как BERT, XLNet и ERNIE, в основном базируется на нескольких простых задачах, моделирующих использование слов или предложений с учётом их связи и семантики. Например, BERT использует модель двунаправленного языка (bidirectional language model) и задачу по прогнозированию следующего предложения, чтобы получить информацию о совпадениях, а XLNet применяет модель языковых перестановок (permutation language model).

Но помимо порядка слов и их связи, в лингвистических системах есть гораздо более сложная лексическая, синтаксическая и семантическая информация. Например, различные название и имена собственные — имена людей, географические названия и названия организаций — содержат концептуально важную информацию. В то же время информация о порядке и последовательности предложений даёт возможность NLP-моделям изучать языковые конструкции с учетом их структуры, а семантическое сходство и логические связи между предложениями позволяют исследовать семантические языковые правила. Таким образом языковым моделям для максимальной точности и производительности необходимо учитывать как минимум три указанных подхода. И исследователи Baidu задались вопросом: «Возможно ли использовать их параллельно и непрерывно?».

Основываясь на этой идее, они предложили структуру для непрерывного обучения модели пониманию языка, в которой задачи предварительного обучения могут создаваться в любой момент и выполняться за счёт заложенной многозадачности для обучения и кодирования лексической, синтаксической и семантической информации между ними. И всякий раз, когда добавляется новая задача, эта структура может постепенно обучать распределенные представления, не забывая ранее обученные параметры.

Команда Baidu сравнила производительность ERNIE 2.0 с другими NLP-моделями для английского языка на наборе данных GLUE и отдельно на 9 популярных наборах для китайского языка. Результаты показывают, что ERNIE 2.0 превосходит BERT и XLNet в 7 задачах на понимание английского языка и превосходит BERT по всем 9 задачам, когда дело касается китайского, таких как машинное чтение с использованием набора данных DuReader, семантический анализ и ответы на вопросы.

Источник: m.vk.com

Комментарии: