Зачем искусственному интеллекту грамматика?

Голосовые помощники вроде Сири и Алексы могут сказать, какая сегодня погода, и даже смешно пошутить, но любой 8-летний ребенок умеет поддерживать беседу лучше. Модели глубокого обучения, на основе которых действуют Сири и Алекса, учатся понимать команды, определяя паттерны в словосочетаниях и предложениях. Их узкое, статистическое понимание языка совершенно не похоже на наш творческий, спонтанный подход к говорению, на эту нашу способность, которая начинает развиваться еще до нашего рождения, когда мы находимся в утробе матери.

Чтобы у компьютеров появилось хотя бы отчасти наше врожденное чувство языка, исследователи стали тренировать нейросети, обучая их тем грамматическим правилам, которые большинство из нас усваивают интуитивно, даже если так и не научились в школе делать разбор предложения. Судя по всему, грамматические ограничения помогают нейросетям учиться быстрее и показывать более высокие результаты. Но поскольку модели сообщают очень мало о процессе принятия решений, исследователям было трудно утверждать, что преимущества связаны именно с грамматикой, а не с умением находить закономерности в цепочках слов.

Теперь на помощь пришли психолингвисты. Чтобы заглянуть внутрь моделей глубокого обучения, они использовали психолингвистические тесты, изначально разработанные для изучения понимания языка людьми, адаптировав их для выяснения того, что о языке знают нейросети.

Результаты этой работы описаны в двух статьях, который были представлены в начале июня на конференции Североамериканского отделения Ассоциации компьютерной лингвистики. Их авторы, исследователи из MIT, Гарварда, Калифорнийского университета, Киотского университета и компании IBM уверены, что именно благодаря грамматике поведение модели становится более похожим на человеческое.

Источник: news.mit.edu

Комментарии: