Обзор дискуссий о «понимании» большими языковыми моделями (LLM)

Это перевод статьи от 10 февраля 2023 года Melanie Mitchell и David C. Krakauer, в которой разбираются основные аргументы и позиции относительно того, могут ли современные LLM "понимать" в человеческом или каком-либо ином смысле...

Мы рассмотрим текущую дискуссию в сообществе исследователей ИИ о том, можно ли утверждать, что большие предварительно обученные языковые модели (large pre-trained language model) понимают язык, физические и социальные ситуации, которые язык кодирует, в каком-либо человеческом смысле. Опишем аргументы за и против такого понимания, а также ключевые вопросы относительно более широкой науки об интеллекте, которые возникли в свете этих аргументов. Мы утверждаем, что можно разработать расширенную науку об интеллекте, которая даст представление о различных способах понимания, их сильных сторонах и ограничениях, а также о соотношении различных форм познания.

Что значит понимать что-либо?

Что значит понимать что-либо? Этот вопрос давно волновал философов, ученых-когнитивистов и педагогов, как правило, применительно к людям и животным. Однако с недавним появлением мощных систем ИИ, особенно так называемых больших языковых моделей (arge language models, LLM), в сообществе ИИ возникли жаркие споры о том, можно ли теперь говорить, что машины понимают естественный язык, а значит, понимают все те физические и социальные ситуации, которые язык может описать? Эти дебаты далеко не академические: степень и способ понимания машинами нашего мира имеет реальное значение, когда речь заходит о том, насколько мы можем доверить им управление автомобилями, диагностику заболеваний, уход за пожилыми людьми, обучение детей, да и вообще любые действия, которые критически влияют на человека. Более того, текущие дебаты свидетельствуют о расхождении в подходах к интеллектуальным системам, в частности, о контрасте между ментальными моделями, которые опираются на статистические корреляции, и теми моделями, которые опираются на причинно-следственные механизмы.

Эти дебаты далеко не академические: степень и способ понимания машинами нашего мира имеет реальное значение, когда речь заходит о том, насколько мы можем доверить им управление автомобилями, диагностику заболеваний, уход за пожилыми людьми, обучение детей, да и вообще любые действия, которые критически влияют на человека.

До недавнего времени в сообществе AI-исследователей существовало общее согласие по поводу машинного понимания: хотя системы искусственного интеллекта демонстрируют кажущееся разумным поведение во многих конкретных задачах, они не понимают обрабатываемые ими данные так, как это делает человек. Программы распознавания лиц не понимают ни того, что лица - это части тела, не понимают роли мимики в социальном взаимодействии, не понимают того, что значит "сохранять лицо" в неприятной ситуации, а также других бесчисленных способов, с помощью которых люди осмысливают лица. Точно так же программы преобразования речи в текст и программы машинного перевода не понимают язык, который они обрабатывают, а системы автономного вождения не понимают значения тонкого зрительного контакта или языка тела, который водители и пешеходы используют, чтобы избежать аварий. Действительно, часто отмечаемая хрупкость этих систем ИИ: их непредсказуемые ошибки, отсутствие надежных способностей к обобщению является ключевым индикатором отсутствия понимания [59].

Однако за последние несколько лет в исследовательском сообществе набрал популярность и влияние новый вид систем ИИ, который изменил мнение некоторых людей о перспективах машин, понимающих язык. По-разному называемые большие языковые модели (LLM), большие предобученные модели (Large Pre-Trained Models,), или Foundation Models [11], представляют собой глубокие нейронные сети с миллиардами и триллионами параметров (весов), которые "предварительно обучаются" на огромных корпусах естественного языка, включая большие массивы интернет-текстов, онлайн-коллекции книг и другие источники, насчитывающие терабайты данных. Задача этих сетей в процессе обучения - предсказать скрытую часть входного текста - метод, называемый Self-Supervised Learning.

Self-Supervised Learning (или unsupervised) - режим обучения моделей, при котором задача обучения не требует дополнительной разметки и формируется исходя из внутренней структуры самих объектов, либо из базовых знаний об объектах. Преимущество таких методов состоит как раз в использовании информации, которые мы уже знаем про каждое конкретное изображение, следовательно нет необходимости дополнительно делать разметку.

(См. статью Self-Supervised Learning. Проблематика и постановка задачи)

В результате сеть представляет собой сложную статистическую модель взаимосвязи слов и фраз в обучающих данных. Такие модели можно использовать для генерации естественного языка, настраивать для решения конкретных языковых задач [58] или дополнительно обучать, чтобы они лучше соответствовали "намерениям пользователя" [65]. Такие LLM, как хорошо известная GPT-3 [12] от OpenAI (и более новая ChatGPT [69]) и PaLM от Google [16], могут создавать удивительно похожие на человеческие тексты, диалоги и, в некоторых случаях, нечто похожее на человеческие способности рассуждать [83], даже если модели не были явно обучены рассуждать.

Как LLM делают это, остается загадкой как для обывателей, так и для ученых. Внутренняя работа этих сетей в значительной степени непрозрачна; даже исследователи, создающие их, имеют ограниченное представление о системах такого масштаба. Нейробиолог Терренс Сейновски так описал возникновение LLM: "Был достигнут некий порог, как будто внезапно появился космический пришелец, который мог общаться с нами жутко по-человечески". Ясно только одно: LLM - не люди... Некоторые аспекты их поведения кажутся разумными, но если это не человеческий интеллект, то какова природа их интеллекта?" [70].

Был достигнут некий порог, как будто внезапно появился космический пришелец, который мог общаться с нами жутко по-человечески.

Какими бы впечатляющими они ни были, современные LLM по-прежнему подвержены хрупкости и нечеловеческим ошибкам. Однако наблюдение за тем, что такие сети значительно улучшаются при увеличении числа параметров и объема обучающих текстов [82], заставило некоторых специалистов утверждать, что LLM, возможно, в мультимодальном варианте, придут к интеллекту и пониманию на уровне человека, при условии достаточно больших размеров сетей и объемов обучающих наборов данных. Возникла новая мантра ИИ: "Масштаб - это всё, что вам нужно". [18, 22].

Масштаб - это всё, что вам нужно.

Подобные утверждения являются символом одной из сторон ожесточенной дискуссии в сообществе исследователей ИИ о том, как относиться к LLM. Одна часть исследователей утверждает, что эти сети действительно понимают язык и могут рассуждать в общих чертах (хотя и "пока" не на уровне человека). Например, система LaMDA компании Google, которая была предварительно обучена на тексте, а затем отлажена (fine-tuned) на диалогах [77], достаточно убедительна в качестве собеседника, что убедило одного исследователя ИИ в том, что такие системы "в очень реальном смысле понимают широкий спектр концепций" [1] и даже "делают шаги в сторону сознания" [3]. Другой эксперт по машинному языку считает LLM канарейкой в угольной шахте общего ИИ человеческого уровня: "Есть чувство оптимизма, что мы начинаем наблюдать появление систем, наделенных знаниями и обладающих определенным уровнем общего интеллекта" [54]. Другая группа утверждает, что LLM "вероятно, отражают важные аспекты смысла и, более того, работают таким образом, что приближаются к убедительной версии человеческого познания, в которой смысл возникает из концептуальной роли" [67]. Тех, кто отвергает подобные утверждения, критикуют за продвижение "дениализма в отношении ИИ" [2].

Дениали?зм (англ. denialism, от denial «отрицание») — форма мировоззрения, основанная на отрицании реальности, противоречащей личным убеждениям индивида, отказ принять эмпирически проверяемую точку зрения из-за нежелания отказаться от своей собственной.

Те, кто стоит на другой стороне в этом споре, утверждают, что большие предварительно обученные модели, такие как GPT-3 или LaMDA, какими бы беглыми ни были их текстовые выдачи, не могут обладать пониманием, потому что у них нет опыта или ментальных моделей мира; их обучение предсказанию слов в огромных коллекциях текстов научило их форме языка, но не его значению [8, 9, 55].

В одной из недавних статей об этом говорится следующим образом: "Система, обученная только на языке, никогда не сможет приблизиться к человеческому интеллекту, даже если будет обучаться с настоящего момента и до тепловой смерти Вселенной" и "очевидно, что эти системы обречены на поверхностное понимание, которое никогда не приблизится к полноценному мышлению, которое мы видим у людей" [13].

Система, обученная только на языке, никогда не сможет приблизиться к человеческому интеллекту, даже если будет обучаться с настоящего момента и до тепловой смерти Вселенной.

Другой ученый утверждал, что интеллект, агентность и, как следствие, понимание "являются неправильными категориями" для разговора об этих системах; вместо этого LLM представляют собой сжатые хранилища человеческих знаний, больше похожие на библиотеки или энциклопедии, чем на интеллектуальных агентов [33]. Например, люди знают, что означает "щекотка", заставляющая нас смеяться, потому что у нас есть тело. LLM может использовать слово "щекотка", но он, очевидно, никогда не испытывал этого ощущения. Понять щекотку - значит сопоставить слово с ощущением, а не с другим словом.

Те, кто стоит на позиции "LLM не понимают", утверждают, что, хотя беглость больших языковых моделей удивляет, наше удивление отражает лишь следствие отсутствия интуиции в отношении того, что статистические корреляции могут дать в масштабах этих моделей. Любой, кто приписывает LLM понимание или сознание, становится жертвой эффекта Элизы [37], названного так в честь чат-бота 1960-х годов, созданного Джозефом Вейценбаумом. Этот чат-бот, будучи простой программой, все же обманывал людей, заставляя их верить, что он их понимает [84]. В более общем смысле эффект Элизы относится к нашей человеческой склонности приписывать понимание и агентность машинам, имеющим хотя бы малейший намек на человеческий язык или поведение.

Опрос, проведенный в 2022 году среди активных исследователей в сообществе специалистов по обработке естественных языков, показывает, насколько разительны разногласия в этой дискуссии. В одном из пунктов опроса респондента спрашивали, согласен ли он со следующим утверждением о том, могут ли LLM когда-либо в принципе понимать язык:

• Утверждение: "Некая генеративная модель [т. е. языковая модель], обученная только на тексте, при наличии достаточного количества данных и вычислительных ресурсов могла бы понимать естественный язык в каком-то нетривиальном смысле".

Из 480 ответивших почти половина (51%) согласилась, а другая половина (49%) не согласилась с этим утверждением [57].

Те, кто хотел бы дать понимание нынешним или будущим LLM, основывают свое мнение о производительности этих моделей на нескольких показателях, включая субъективную оценку качества текста, сгенерированного моделью в ответ на подсказки (хотя такие оценки могут быть уязвимы для эффекта Элизы), и более объективные показатели на эталонных наборах данных, предназначенных для оценки понимания языка и рассуждений.

Например, двумя стандартными эталонами для оценки LLM являются General Language Understanding Evaluation (GLUE) [79] и его преемник (SuperGLUE) [80], которые включают в себя масштабные наборы данных с такими задачами, как

• "вывод из представленного текста" (даны два предложения, можно ли вывести значение второго из первого?),

• "слова в контексте" (имеет ли данное слово одинаковое значение в двух разных предложениях?),

• ответы на вопросы "да/нет" и др.

GPT-3 от OpenAI со 175 миллиардами параметров показал удивительно хорошие результаты в этих задачах [12], а PaLM от Google с 540 миллиардами параметров показал еще лучшие результаты [16], часто показывая сопоставимые с человеком результаты или даже превосходя его в решении тех же задач.

Что говорят такие результаты о понимании LLM? В самих терминах, используемых исследователями в названиях этих эталонных оценок - "общее понимание языка", "умозаключение на естественном языке", "понимание прочитанного", "рассуждение на основе здравого смысла" и т. д., прослеживается предположение, что для успешного выполнения этих заданий требуется понимание, подобное человеческому. Но действительно ли эти задания требуют такого понимания? Не обязательно. В качестве примера рассмотрим один из таких бенчмарков - Argument Reasoning Comprehension Task [36]. В каждом примере задания дается "аргумент" на естественном языке, а также два утверждения; задача состоит в том, чтобы определить, какое утверждение соответствует аргументу. Вот пример одного пункта из датасета:

Аргумент: Преступникам должно быть разрешено голосовать. Человек, укравший машину в 17 лет, не должен быть лишен права быть полноправным гражданином на всю жизнь.

Утверждение A: Кража автомобиля - это уголовное преступление.
Утверждение Б: Кража автомобиля не является уголовным преступлением.

LLM BERT [21] показал в этом бенчмарке производительность, близкую к человеческой, [62]. Можно сделать вывод, что BERT понимает аргументы на естественном языке так же, как и человек. Однако одна исследовательская группа обнаружила, что наличие определенных слов в утверждениях (например, "не") может помочь предсказать правильный ответ. Когда исследователи изменили набор данных, чтобы предотвратить эти простые корреляции, производительность BERT упала до практически случайного угадывания [62]. Это прямой пример "shortcut learning" - часто упоминаемого явления в машинном обучении, когда обучающаяся система полагается на ложные корреляции в данных, а не на человеческое понимание, чтобы показать хорошие результаты на определенном эталоне [25, 35, 47, 56].

Shortcut learning - явление, когда модели получают верный ответ с помощью неверных в общем случае рассуждений ("right for the wrong reasons"), которые хорошо работают только для обучающего распределения данных. Поскольку обучающая и тестовая выборка обычно берутся из одного распределения, то такие модели могут давать хорошую точность и при тестировании.

(См. статью Проблемы современного машинного обучения)

Как правило, такие корреляции не очевидны для людей, выполняющих те же задачи. В то время как в нескольких стандартных бенчмарках, используемых для оценки понимания языка и других задач ИИ, были обнаружены "короткие пути", вероятно, существует множество других, пока еще не обнаруженных, таких путей. Предварительно обученные языковые модели масштаба Google LaMDA или PaLM, с сотнями миллиардов параметров, обученные на текстах, состоящих из миллиардов или триллионов слов, - обладают невообразимой способностью кодировать такие корреляции. Поэтому эталоны или оценки, которые подходят для измерения человеческого понимания, могут оказаться непригодными для оценки таких моделей [15, 24, 50]. Вполне возможно, что в масштабах этих LLM (или их вероятных преемников в ближайшем будущем) любая такая оценка будет содержать сложные статистические корреляции, обеспечивающие практически идеальную производительность без человеческого понимания.

Хотя "человекоподобное понимание" не имеет строгого определения, оно, похоже, не основано на тех массивных статистических моделях, которые содержат современные LLM, вместо этого оно основано на концепциях - внутренних ментальных моделях внешних категорий, ситуаций и событий, а также собственного внутреннего состояния и собственного "я".

Для понимания языка (а также нелингвистической информации) человеку необходимо обладать концепциями, которые описывает язык (или другая информация), помимо статистических свойств лингвистических символов. Действительно, большая часть долгой истории исследований в когнитивной науке была направлена на то, чтобы понять природу понятий и то, как понимание возникает из последовательных, иерархических наборов отношений между понятиями, которые включают в себя базовые причинные знания [6, 43].

Эти модели позволяют людям абстрагировать свои знания и опыт, чтобы делать надежные предсказания, обобщения и аналогии, рассуждать композиционно и контрфактически, активно вмешиваться в мир, чтобы проверить гипотезы, и объяснять свое понимание другим [29, 32, 38, 41, 45, 73, 74]. Действительно, именно эти способности отсутствуют в современных системах ИИ, в том числе и в современных LLM, хотя все более крупные LLM демонстрируют ограниченные проблески этих общих способностей. Утверждается, что понимание такого рода может обеспечить способности, невозможные для чисто статистических моделей [19, 27, 44, 66, 76].

Хотя LLM демонстрируют выдающуюся формальную лингвистическую компетенцию - способность генерировать грамматически корректный, беглый, человекоподобный язык, им все еще не хватает концептуального понимания, необходимого для подобных человеку функциональных языковых способностей, способности надежно понимать и использовать язык в реальном мире [52].

Интересную параллель можно провести между таким функциональным пониманием и успехом формальных математических методов, применяемых в физических теориях [42].

Например, извечная критика квантовой механики заключается в том, что она предоставляет эффективные средства вычисления, не обеспечивая концептуального понимания квантовых процессов.

Детальная природа человеческих понятий является предметом активных дебатов на протяжении многих лет. Исследователи расходятся во мнениях о том, в какой степени концепты являются специфическими и врожденными, а в какой - более универсальными и обучаемыми [14, 30, 31, 53, 75, 85], в какой степени концепты обосновываются с помощью воплощенных метафор [28, 46, 61], в какой степени они представлены в мозге с помощью динамических, ситуационных симуляций [5], и в каких условиях концепты подкрепляются языком [20, 23, 51], социальным обучением [4, 81, 26] и культурой [7, 60, 63].

Несмотря на эти продолжающиеся споры, концепты, в форме описанных выше каузальных ментальных моделей, уже давно считаются единицами понимания в человеческом познании. Действительно, траектория человеческого понимания - как индивидуального, так и коллективного - представляет собой развитие сильно сжатых, причинно-обусловленных моделей мира, аналогично продвижению от эпициклов Птолемея к эллиптическим орбитам Кеплера и далее к краткому и причинному описанию Ньютоном движения планет в терминах гравитации. Люди, в отличие от машин, по-видимому, обладают сильным врожденным стремлением к такой форме понимания, как в науке, так и в повседневной жизни [34]. Мы можем охарактеризовать эту форму понимания как требующую небольшого количества данных, минимальных или упрощенных моделей, четких причинно-следственных зависимостей и сильной механистической интуиции.

Ключевые вопросы дискуссии о понимании применительно к LLM:

(1) Является ли разговор о понимании в таких системах просто категориальной ошибкой, когда ассоциации между языковыми лексемами принимаются за ассоциации между лексемами и физическим, социальным или ментальным опытом? Короче говоря, верно ли утверждение, что эти модели не понимают и никогда не смогут понимать?

Или, наоборот,

(2) Действительно ли эти системы (или их ближайшие преемники), даже в отсутствие физического опыта, создают нечто подобное богатым концептуальным ментальным моделям, которые являются центральными для человеческого понимания, и, если это так, то масштабирование этих моделей создает все более совершенные концепции?

Или

(3) Если эти модели не создают таких понятий, могут ли их невообразимо большие системы статистических корреляций создавать способности, функционально эквивалентные человеческому пониманию? Или, более того, позволяющие создавать новые формы логики высшего порядка, недоступные человеку? И будет ли в этот момент все еще иметь смысл называть такие корреляции "ложными" или возникающие решения "shortcut learning"? И имеет ли смысл рассматривать поведение систем не как "компетентность без понимания", а как новую, нечеловеческую форму понимания?

Эти вопросы уже не относятся к области абстрактных философских дискуссий, а затрагивают вполне реальные проблемы, связанные с возможностями, надежностью, безопасностью и этикой систем искусственного интеллекта, которые все чаще играют роль в повседневной жизни людей.

Хотя приверженцы обеих сторон дебатов о "LLM-понимании" имеют в своей основе некоторые интуитивные аргументы, подтверждающие их взгляды, когнитивно-научные методы, доступные в настоящее время для получения информации о понимании, неадекватны для ответа на подобные вопросы о LLM. Действительно, несколько исследователей использовали психологические тесты, изначально предназначенные для оценки человеческого понимания и механизмов рассуждения, к LLM, обнаружив, что LLM в некоторых случаях демонстрируют человекоподобные ответы в тестах на теорию мышления [1, 78] и человекоподобные способности и предубеждения в оценках рассуждений [10, 17, 48]. Хотя такие тесты считаются надежными для оценки более общих способностей человека, они могут не быть таковыми для систем ИИ.

Как мы описали выше, LLM обладают невообразимой способностью к изучению корреляций между лексемами в обучающих данных и входных данных и могут использовать эти корреляции для решения задач, для которых люди, напротив, применяют сжатые концепции, отражающие их реальный опыт.

При применении к LLM тестов, разработанных для людей, интерпретация результатов может опираться на предположения о человеческом познании, которые могут быть совсем не верны для этих моделей. Чтобы добиться прогресса, ученым необходимо разработать новые виды тестов и методов исследования, которые позволят понять механизмы различных видов интеллекта и понимания, включая новые формы "экзотических, похожих на разум сущностей" [71], которые мы создали, возможно, по примеру некоторых многообещающих первых работ [49, 64].

Споры о понимании в LLM по мере создания все более крупных и, похоже, более способных систем подчеркивают необходимость расширения нашей науки об интеллекте, чтобы ввести и обосновать более широкие концепции понимания, как для людей, так и для машин. Как отмечает нейробиолог Терренс Сейновски, "расхождения во мнениях экспертов относительно интеллекта LLM свидетельствуют о том, что наши старые представления, основанные на естественном интеллекте, неадекватны" [70].

Если LLM и подобные модели преуспеют в использовании статистических корреляций в доселе немыслимых масштабах, возможно, это можно будет считать новой формой "понимания", которая обеспечивает экстраординарные, сверхчеловеческие способности к прогнозированию, как в случае с системами AlphaZero и AlphaFold от DeepMind [40, 72], которые, соответственно, привносят "инопланетную" форму интуиции в области игры в шахматы и предсказания структуры белков [39, 68]

Таким образом, можно утверждать, что за последние годы в области ИИ были созданы модели с новыми способами понимания, новые виды в большом зоопарке связанных с пониманием концепций, которые будут продолжать обогащаться по мере того, как мы будем продвигаться в разгадывании неуловимой природы интеллекта. И точно так же, как разные виды лучше приспособлены к разным условиям, наши интеллектуальные системы будут лучше приспособлены к разным проблемам.

Задачи, требующие огромных объемов исторически закодированных знаний и требующие высокой производительности, будут и дальше лучше решаться с помощью масштабных статистических моделей, как LLMs. А те задачи, в которых присутствуют ограниченные знания и сильные причинно-следственные механики, будут лучше решаться человеческим интеллектом.

Задача будущего - разработать новые научные методы, способные раскрыть детальные механизмы понимания в различных формах интеллекта, выявить их сильные стороны и ограничения, а также научиться интегрировать, совместно использовать такие действительно разнообразные способы познания.