КАК ХОРОШО НЕЙРОСЕТИ ПОНИМАЮТ И АНАЛИЗИРУЮТ ТЕКСТ?

Языковые модели от Google и Microsoft — T5 + Meena и DeBERTa — показали себя лучше человека в тесте SuperGLUE, который проверяет понимание и логику текста на английском языке.

Тест состоит из восьми испытаний по пониманию языка. К ним относятся ответы на логические вопросы, выявление и определение правильности гипотез, построенных на основе содержания текста. В качестве заданий отбираются статьи из Википедии, Wall Street Journal и других источников. Помимо испытаний, перечисленных выше, тестирование включает в себя и другие задачи: определение причинно-следственных связей, ответы на вопросы с несколькими возможными вариантами ответов и многое другое. Важную роль в оценке успешности прохождения тестов играет прохождение конкурса Winograd Schema Challenge, который заключается в разрешении задач так называемой местоименной анафоры, что требует чёткого понимания слов и их связи друг с другом. Например: «Чемодан не влез в ящик. Он слишком большой» vs «Чемодан не влез в ящик. Он слишком маленький».

Этой зимой нейросети от Google и Microsoft впервые выполнили набор заданий лучше, чем люди при тестовом прохождении. DeBERTa — модель с полутора миллиардами параметров, которая обучена с помощью стандартного на сегодняшний день моделирования языка с маскированием: нейросеть обучается использовать слова вокруг замаскированного токена, чтобы понять, какое слово пропущено.

Датасет SuperGLUE содержит сравнительно сложные вопросы: например, нужно понять, употребляется ли слово board в одном и том же значении в предложениях Room and board и He nailed boards across the windows. Не каждый человек ответит на этот вопрос правильно.

В связи с успешным прохождением тестов нейросетями, на данный момент стоит вопрос об усложнении испытаний. Предполагается, что будущие тесты будут также включать этические, технические и социальные проблемы.

Автор: Елизавета Григорьева

Источник: vk.com

Комментарии: