Татьяна Шаврина про большие языковые модели

В своей статье Ноам Хомский утверждает, что языковые модели одинаково хорошо усваивают и язык, и не язык. А так ли это на самом деле? Нет ли каких-нибудь наблюдений о языковых моделях с точки зрения естественности их, так сказать, языковой компетенции?

— Трансформерные модели действительно изначально инженерно смоделированы, чтобы усваивать язык. Их сделали для задачи машинного перевода в формате «текст на исходном языке на входе — текст на целевом языке на выходе». Нейросеть должна учиться сопоставлять последовательности из элементов на входе и выходе, учитывая, что порядок слов в исходном и целевом языке зачастую различается.

Предыдущее поколение моделей (long short-term memory, сокр. LSTM) так делать не могло, так как была проблема катастрофического забывания — можно было сопоставить слова только в пределах очень узкого контекстного окна (3-5 слов), а то, что было в начале или конце фразы, забывалось. У моделей на основе трансформеров с этим всё намного лучше.

Потом оказалось, что трансформерные модели в целом универсально подходят для моделирования последовательностей: не только букв и слов на естественном языке, но и ДНК, РНК, музыкальных партитур и даже картинок (которые представимые в виде последовательности из пикселей).

Однако именно с точки зрения языка у трансформеров еще много проблем. В частности, они не умеют никак различать более формальные подсистемы внутри языка.

Если загрузить в обучающий корпус модели, помимо текстов из Википедии и соцсетей, учебники по лямбда-исчислению и алгебре логики, то это будет более формальная система внутри пространства естественного языка. Модель ее тоже как-то вероятностно выучит, но будет соблюдать все те же закономерности, что и вообще в языке — никуда не денется некомпозициональность, омонимия.

Считать модели тоже совсем не умеют, они умеют только «читать» — цифры воспринимаются как последовательность из букв. Соответственно, для модели разница между «45678» и «45679» аналогична разнице между двумя падежными формами одного слова, как «Ваня» и «Ване».

Хорошо бы, в данном случае, провести разницу между competence и performance: что мы модель потенциально умеет и что она умеет делать на самом деле. Однако на данный момент так никто не делает.

— Мы подозреваем, что языковые модели умеют делать логические выводы в рамках классической логики. Умеют ли они при этом делать выводы по абдукции? Выводят ли импликатуры?

Не умеют! Они иногда могут выбрать правильный ответ только на основе вероятностей, но эти вероятности сами по себе получены на основе очень игрушечных примеров.

Источник: m.vk.com

Комментарии: