Странное происхождение «рассуждающих» способностей ИИ

В июле 2020 года раздел 4chan, посвященный видеоиграм, выглядел почти так же, как и остальная часть печально известного онлайн-форума. Там были тщательно проработанные либидозные фантазии с участием «шлюх» и «спермы дракона», а также комментарии о том, как долго геймеру приходится ждать, «прежде чем мой член снова будет готов к бою», как выразился один пользователь.

И все же, обсуждая подобные вещи, геймеры делали важное для индустрии искусственного интеллекта открытие. Некоторые из них играли в AI Dungeon, новую текстовую ролевую игру, которая по сути представляла собой версию Dungeons & Dragons с искусственным интеллектом. В бесконечно генерируемых сценариях в фэнтезийном мире игроки описывали действия, например «взять меч» или «приказать троллю уйти», а компьютер выполнял соответствующее действие.

Помимо просьб к игровым персонажам о различных сексуальных действиях (что вполне естественно), геймеры с 4chan также просили их решать математические задачи. Это, конечно, звучит странно, но AI Dungeon была создана на основе GPT-3 от OpenAI, и геймеры знали, что они одни из первых, кто исследует возможности этой новой большой языковой модели. Это было более чем за два года до выхода ChatGPT, и модель, как известно, плохо справлялась с математикой. Она часто ошибалась в простых арифметических действиях. Но когда они попросили персонажа в игре решить математическую задачу и дать пошаговое объяснение, один из них написал, что языковая модель «не только решает математические задачи, но и делает это так, как это соответствует характеру гребаного персонажа».

Игроки обнаружили новую функцию — то, что сегодня в искусственном интеллекте называют «цепочкой рассуждений». По сути, это означает, что модель не только дает ответ, но и объясняет шаги, необходимые для решения задачи. Кроме того, если попросить модель выстроить цепочку рассуждений, это повышает точность ее ответов на определенные типы задач. Игроки на 4chan сразу поняли важность этой функции и опубликовали примеры в Twitter.

В последнее время технологическая индустрия преподносит «цепочку мыслей» как революционную технологию и повод снова увлечься искусственным интеллектом. Исследователи из Google заявили в своей статье, что они «первые», кому удалось получить «цепочку мыслей» от большой языковой модели общего назначения, — и это произошло более чем через год после того, как геймеры с 4chan поделились своими находками. (Это заявление было удалено из последующих версий статьи, в которых по-прежнему не упоминались геймеры, хотя по крайней мере в одной другой научной работе их имена были указаны.) А в последние пару лет компании начали заявлять, что их чат-боты не просто правильно решают математические задачи, но и на самом деле думают над ними. В 2024 году компания OpenAI написала, что её модель o1 «думает, прежде чем ответить», а Google заявила, что экспериментальная модель Gemini 2.0 Flash Thinking «способна демонстрировать ход своих мыслей». Компании стали называть свои модели «моделями рассуждения» — якобы это новый вид продукта на основе больших языковых моделей.

На фоне всей этой шумихи история 4chan поучительна. Несмотря на всю свою дерзость, геймеры с 4chan, как правило, высказываются о том, как работают модели, более взвешенно и точно, чем представители индустрии искусственного интеллекта. Например, в прошлом году компания Anthropic опубликовала длинную и серьезную на вид статью «О биологии больших языковых моделей». Визуальное оформление статьи имитировало научные публикации с помощью сложных диаграмм и уравнений. Но в статье о каждой теме работа большой языковой модели описывалась с точки зрения человеческого разума. В ней говорилось, что большая языковая модель «планирует» текст заранее, «обобщает» свои знания и может «отклоняться» от своей цепочки рассуждений (то есть, как поясняется в статье, иногда выдает «чушь собачью»).

Сравните это с руководством, написанным в 2024 году пользователями 4chan. Оно начинается с заголовка «Ваш бот — это иллюзия» и содержит чёткое и подробное описание того, как компании используют большие языковые модели для создания чат-ботов, которые отвечают на вопросы и обладают индивидуальностью. В руководстве описаны наиболее важные технические особенности больших языковых моделей и показано, как выходные данные модели соотносятся с различными входными данными. Это руководство — полезное напоминание о самой простой истине о больших языковых моделях: единственное, что они могут делать, — это имитировать обучающие данные.

Большие языковые модели могут давать объяснения математическим задачам, потому что они обучались на таких объяснениях. Некоторые из этих объяснений взяты из учебников, но компании также обучают свои так называемые модели рассуждений на текстах, которые передают сам процесс мышления. Я изучила несколько наборов данных для обучения ИИ с открытым исходным кодом и нашла сотни тысяч пространных решений математических задач, в которых встречаются такие выражения, как «Погодите, нет. Вопрос в том, что...», «Сначала мне нужно правильно разобрать входные данные» и «Погодите, но в случаях, когда...». Насколько я знаю, компании получают этот текст либо заплатив за его написание, либо сгенерировав его с помощью других моделей искусственного интеллекта. (Google, OpenAI и Anthropic не ответили на запросы о комментарии.)

Модели, обученные на таких высказываниях, на самом деле не рассуждают, а предсказывают, как может выглядеть процесс рассуждения. Между этапами рассуждения модели и ее окончательным ответом не обязательно существует какая-либо связь. Исследователи доказали, что модели могут выдавать неверную цепочку рассуждений, но при этом приходить к правильному результату.

Некоторые утверждают, что если компьютер может имитировать человеческий разум настолько хорошо, что каждый раз нас обманывает, то как мы можем быть уверены, что он не делает этого на самом деле? Исследователи из Apple изучали этот вопрос, и их выводы весьма любопытны. Например, они обнаружили, что модель может правильно решить задачу по математике, но после небольшого изменения формулировки дать неверный ответ. В частности, они обнаружили, что современные модели логического вывода работают на 65% хуже, когда к вопросу добавляется нерелевантная информация, даже если формулировка ключевых фактов остается неизменной. Исследователи из Apple также показали в статье под названием «Иллюзия мышления», что, хотя модели логического вывода справляются с некоторыми задачами лучше, чем стандартные языковые модели, с другими они справляются хуже.

Причина, по которой трюк с цепочкой мыслей часто срабатывает, довольно проста. Дополнительные слова в цепочке мыслей дают модели больше контекста, что помогает ей точнее предсказывать слова, как объяснил генеральный директор Perplexity Аравинд Шринивас в интервью 2024 года. Это похоже на распространенный совет быть конкретным, задавая большой языковой модели вопрос на любую тему. Чем больше деталей вы предоставите, тем больше вероятность, что модель выдаст релевантные слова из своей памяти.

Некоторые геймеры с 4chan, похоже, сразу это поняли. Как объяснил один из них еще в июле 2020 года: «Это логично, ведь он основан на человеческом языке, а значит, нужно говорить с ним как с человеком, чтобы получить адекватный ответ».

Помимо геймеров, почти в то же время трюк с цепочкой мыслей открыл еще один энтузиаст ИИ. Студент факультета компьютерных наук по имени Зак Робертсон, который тоже познакомился с GPT-3 через AI Dungeon, в июле 2020 года написал пост в блоге о том, «как расширить возможности GPT3», разбивая математические задачи на несколько этапов. В сентябре того же года он выступил с презентацией, в которой показал, как можно «соединить в цепочку» эти этапы. Робертсон, который сейчас учится в Стэнфорде на доктора философии в области компьютерных наук, рассказал мне по видеосвязи, что ничего не знал о геймерах с 4chan. На самом деле он даже не подозревал, что его можно считать одним из изобретателей «цепочки мыслей». Я видел, что его пост в блоге цитируется в научной статье, но когда я впервые упомянул об этом в электронном письме, он не понял, о чем я говорю. Он удалил этот пост из интернета пару лет назад, когда переносил свой блог на новый сайт. (Он восстановил его после нашего разговора.)

Я думал, что Робертсон будет гордиться тем, что стал первопроходцем в области искусственного интеллекта, вызывающей такой энтузиазм. Но, похоже, его это лишь слегка позабавило. По его словам, именно эти ранние эксперименты с AI Dungeon пробудили в нем интерес к искусственному интеллекту, но с тех пор он переключился на другие темы. «Цепочка мыслей» была выдающимся трюком, но не более того.

Телеграм: t.me/ainewsline

Источник: www.theatlantic.com

Комментарии: