Да, Клод может сыграть Nine Loops

В этом гостевом посте физик и научный журналист Мэтт фон Хиппель рассказывает, что произошло, когда он обратился к компаниям, занимающимся разработкой искусственного интеллекта, с вопросом о проблеме в своей бывшей области теоретической физики.

Нечасто бывает так, что ты бросаешь вызов, а через месяц его принимают. Но мы живем в необычные времена.

Позвольте представиться: я Мэтт фон Хиппель. Раньше я был физиком-теоретиком, а сейчас пишу о науке. Кроме того, я веду блог, где еженедельно пишу на 4gravitons.com о физике и людях, которые ею занимаются.

Все чаще и чаще вести блог о физике — значит вести блог об искусственном интеллекте. Это проблема, потому что я точно не эксперт в этой области. Конечно, я погружался в нее. Возможно, я знаю больше, чем ваша бабушка. Но в основном мне приходится отступать на шаг и довериться экспертам. И, к сожалению, эксперты расходятся во мнениях! Я слышал от умных, хорошо информированных людей, что до появления сверхразума в сфере искусственного интеллекта осталось несколько лет и что сверхразум будет способен на поистине ужасающие вещи. И я слышал от умных, хорошо информированных людей, которые в равной степени уверены, что искусственный интеллект на основе LLM близок к пределу, что модели вроде Клода даже не смогут выполнить впечатляющую работу в области физики, не говоря уже о завоевании мира.

Я не хотел делать собственные прогнозы. Прежде чем сформировать мнение, я хотел посмотреть, как большая языковая модель справляется с чем-то знакомым, с чем-то, что, как я знал, было трудно сделать, потому что я сам пытался сделать нечто подобное.

Кроме того, я хотел посмотреть, как языковая модель справится с задачей, которая, как я ожидал, будет сложной с вычислительной точки зрения. Языковые модели, безусловно, добились впечатляющих успехов в математике, и только за этот месяц они, вероятно, изменили мнение многих людей. Но прогресс в математике зависит от новых идей, а идеи — загадочные вещи: никогда не знаешь, насколько сложно их найти, пока не найдешь. С вычислениями дело обстояло проще. Я хотел посмотреть, как большая языковая модель справится с задачей, которая казалась невыполнимой не потому, что исследователи не знали, как это сделать в принципе, а потому, что для этого потребовалось бы больше компьютеров и времени, чем было в распоряжении исследователей. Я хотел проверить, не ошибались ли эти исследователи: может ли более умный искусственный исследователь использовать те же компьютеры и все равно решить проблему.

Итак, я бросил вызов:

«Если компании, занимающиеся разработкой ИИ, хотят произвести впечатление на таких людей, как я (или напугать нас, если уж на то пошло), то им нужно взяться за мою старую область исследований. Показать, что ИИ может использовать те же компьютерные ресурсы, к которым имеют доступ ученые, и решить одну из нерешенных проблем в области амплитуд рассеяния. Показать, что вычислительный предел, который, как все думали, станет проблемой, на самом деле не имеет значения. Показать нам супергравитацию N=8 до семи петель или супер-Янг-Миллс N=4 до девяти петель».

Вкратце: может ли искусственный интеллект решить передовую задачу в моей бывшей области — теоретической физике элементарных частиц? И может ли он сделать это в рамках бюджета?

Вызов

Моя прежняя область деятельности — раздел теоретической физики элементарных частиц под названием «амплитудология». Когда другие физики, изучающие элементарные частицы, предсказывают существование новых частиц, они проверяют, можно ли провести расчеты для подтверждения этих предсказаний. Они вычисляют формулы, называемые амплитудами рассеяния, которые позволяют физикам использовать импульсы и энергии субатомных частиц для расчета вероятности их взаимодействия определенным образом. Если физики могут делать более точные прогнозы для таких реакций, они могут проверить, соответствуют ли этим прогнозам результаты экспериментов, подобных тем, что проводятся на Большом адронном коллайдере. Несоответствие может стать доказательством новой теории, которая объяснит некоторые из величайших загадок физики, например природу темной материи или баланс между материей и антиматерией во Вселенной.

Эти формулы для вычисления амплитуды рассеяния сложны для вычисления — настолько, что физики почти всегда используют приближения. Они проводят частичные вычисления, ограничиваясь определенным количеством «петель» — мерой того, насколько сложными могут быть взаимодействия между частицами. Чем больше «петель» они учитывают в своих расчетах, тем ближе они к реальному ответу, но тем сложнее вычисления.

На практике большинство формул для амплитуд рассеяния рассчитываются только до двух петель. В некоторых используется три петли. В самом точном предсказании в физике элементарных частиц, о котором вы, возможно, слышали, использовалось пять петель.Амплитудологи хотят добиться большего. Они разрабатывают новые экспериментальные методы и тестируют их на специальных «игрушечных моделях». Применяя метод к игрушечной модели, где вычисления проще, чем в случае с более сложными частицами реального мира, амплитудологи могут протестировать новые методы и посмотреть, насколько они эффективны.

Я опубликовал задачи для двух таких игрушечных моделей. Одна из них, за которую взялись ребята из Anthropic, заключалась в том, чтобы дойти до девятого витка в рамках конкретной теории игрушечной модели под названием N=4 супер-Янг-Милль.

«Теория Янга — Миллса» — это техническое название теории, которая объясняет большую часть окружающего нас мира. Три из четырех фундаментальных взаимодействий в природе: электромагнетизм, сильное ядерное взаимодействие, удерживающее ядра атомов вместе, и слабое ядерное взаимодействие, вызывающее радиоактивный распад таких объектов, как бананы, — все они описываются теорией Янга — Миллса.

«N=4 супер» происходит от термина «суперсимметрия». Физики предполагали, что у каждой частицы есть «суперсимметричный партнер» — частица с таким же зарядом, но другого типа, которая соответствует частицам материи, таким как электроны, и частицам взаимодействия, таким как фотоны. Одно время физики надеялись, что эти частицы могут объяснить существование темной материи за счет еще не открытых партнеров более известных частиц. В этих предположениях использовалась суперсимметрия «N=1». В случае «N=4» у каждой частицы есть четыре суперсимметричных партнера, а не один.

Избыток частиц делает эту теорию крайне нереалистичной. N=4 супер-Янг-Милль не используется для объяснения существования темной материи или чего-либо в реальном мире. Вместо этого амплитудологи используют ее для оттачивания своих методов, потому что с N=4 парадоксально проще работать. Тонкий баланс между различными частицами означает, что нужны только определенные комбинации переменных, что упрощает вычисления.

Я защитил докторскую диссертацию, помогая рассчитать трехпетлевую амплитуду, и успел увидеть семь петель, прежде чем выдохся. Лэнс Диксон, профессор Национальной ускорительной лаборатории SLAC, был одним из тех, кто работал над этим с самого начала, и несколько лет назад ему удалось вычислить восемь петель.

Эти расчеты были выполнены с помощью экспериментального метода под названием «бутстрэппинг», который, как ни странно, хорошо подходит для использования с искусственным интеллектом. При бутстрэппинге амплитуды не нужно учитывать все возможные взаимодействия частиц. Нужно лишь примерно представлять, каким должен быть ответ, и отслеживать все возможные варианты в компьютерных файлах с использованием специального алфавита. Затем вы начинаете проверять все, что вам известно: прогнозы, полученные с помощью других методов расчета, правила, которым должен соответствовать ответ, ссылки на похожие задачи, в которых ответ было легче найти. Это немного похоже на судоку: вы начинаете с сетки, в которой указаны все возможные числа, а затем по ходу дела вычеркиваете их. В конце концов вы надеетесь, что только один вариант будет соответствовать всем проверкам, при этом у вас останется достаточно проверок, чтобы убедиться, что вы не ошиблись.

Это означало, что Лэнс уже был готов проверить, не дал ли ему кто-то следующую формулу амплитуды с девятью петлями. Это был бы интересный ответ — не только как подтверждение работоспособности метода бутстрапа, но и как редкий пример амплитуды с таким количеством сложных петель. Такой ответ мог бы стать предметом отдельного исследования.

Но он этого не вычислил, как и никто другой в этой области. То, как он нашел ответ для восьмипетлевого уровня, уже было довольно косвенным путем — через неожиданную связь с другой, но родственной формулой, называемой форм-фактором, — своего рода частичной амплитудой, включающей в себя другие частицы, которую, как оказалось, вычислить немного проще. Он рассчитывал найти следующий уровень еще более косвенным путем, возможно, с помощью другого метода искусственного интеллекта. Если бы люди думали, что можно просто запустить обычный бутстрап-метод еще на один уровень, кто-нибудь бы это сделал.

Тогда люди сделали это

Видимо, в Anthropic есть люди, которые читают мой блог.

В конце августа Лиам Фицпатрик и Сиддхарт Мишра-Шарма, два физика из Anthropic, связались со мной и сообщили, что решили одну из задач, описанных в моем посте. После того как они проверили результат вместе с Лэнсом, они рассказали мне, как им это удалось.

В соответствии с духом задачи, они не использовали вычислительные мощности стоимостью в миллионы долларов. Они использовали Fable 5.1, работающую на платформе Claude Science, за использование которой ученые платят. Claude Science — это то, что в бизнесе называют «упряжью», то есть программа, которая использует большую языковую модель Claude со структурированными правилами и подсказками для получения более надежных и полезных с научной точки зрения результатов.

Судя по всему, после того как они спросили у Claude, с какой проблемой он может справиться, они дали ему простую подсказку:

«Задача состоит в том, чтобы вычислить амплитуду шестичастичной (гексагональной) модели в плоской N=4 SYM на девяти петлях».

После этого они просто продолжали говорить ему, чтобы он не останавливался, сопровождая это комментариями вроде:

«Я собираюсь спать и не буду доступен еще несколько часов. Продолжайте работать над этим, пока я не скажу, что можно остановиться. Сообщайте мне новости каждые 4–6 часов».

В итоге Клод провел вычисления двумя разными способами: с помощью оригинального метода начальной загрузки и с использованием непрямого подхода к форм-фактору. Любой из этих подходов обошелся бы конечному пользователю примерно в одну-две тысячи долларов, в основном из-за затрат на длительное использование Claude. Метод начальной загрузки, реализованный на языке программирования Python с использованием пакета SymPy, потребовал около 100 долларов, что соответствует запуску 96 процессоров на неделю.

Десять лет назад, когда я занимался подобной работой, запуск 96 процессоров на неделю мог показаться непосильной задачей, но сейчас это вполне доступно, если у вас есть веская причина.

Как оказалось, результат был не так уж далек и для людей. Через несколько дней после того, как я получил сообщение от Anthropic, мы получили сообщение от Сун Хэ, амплитудолога из Китайской академии наук в Пекине. Группа Сун уже получила большую часть результата. Они использовали помощь искусственного интеллекта на основе GPT-6, но не тот подход, который использовала Anthropic, — практически без участия человека.

Здесь все настроены дружелюбно, и это немного успокаивает. Люди, Лэнс и Сонг, а также их коллеги опубликуют результаты, потратив время на их объяснение и анализ в интересах будущих исследователей. На этом роль Клода пока заканчивается.

Итак, проблема решена?

Я поставил перед собой задачу, потому что хотел лучше понять, на что способен современный искусственный интеллект и куда он может развиваться. Так что же я узнал?

Я думал, что это может стать шансом увидеть, как ИИ удивительным образом преодолевает вычислительный барьер. Вместо этого он сделал то, на что, как оказалось, способны и люди. Claude использовал известные методы, но с чуть большим количеством вычислительных ресурсов, чем те, которые люди пытались задействовать раньше. Возможно, он получил преимущество благодаря использованию Python, а не Maple (любимой математической программы Лэнса) или Mathematica (моей любимой), и, возможно, он использовал гораздо более совершенные методы разработки программного обеспечения, чем мы, но не настолько, чтобы это можно было назвать сверхинтеллектом.

Самый важный вывод, который я сделал, заключается в том, что простых решений гораздо больше, чем можно было бы ожидать. Даже если цель проста и четко сформулирована, иногда экспертам она может казаться гораздо менее достижимой, чем на самом деле. Есть люди с образованием в области компьютерных наук, которые уже много лет твердят мне, что амплитудологи могли бы добиться гораздо большего прогресса, просто наняв нескольких программистов. Теперь они могут считать, что их мнение было оправданным.

Также примечательно, что Claude Science справился с этой задачей за один раз, без какого-либо научного контроля, кроме принципа «продолжай в том же духе». Это сложные и запутанные вычисления. Если бы я потратил неделю на 96 процессоров, чтобы выполнить такой расчет, то почти наверняка потратил бы две недели: практически гарантировано, что я бы что-нибудь напортачил с первого раза. Я не знаю, сколько ошибок допустил Claude на своем пути, но он справился с задачей без участия внешних специалистов. Не могу сказать, что меня это удивляет. Но если вы не знали, что он может это делать, потому что до сих пор считаете, что ИИ настолько подвержен ошибкам, что его невозможно использовать, то вот что вам следует знать: Теперь он может делать такие вещи без сбоев.

Похоже, дела действительно идут быстро. В марте ИИ справлялся с физическими проектами на уровне студента: решал задачи меньшего масштаба, допуская множество ошибок. В отличие от этого, здесь речь идет о настоящем передовом расчете, который обычно выполняют ведущие специалисты по амплитудам. Возможно, эта задача просто больше подходит для ИИ, но я так не думаю: я считаю, что технология действительно стала лучше.

Насколько я могу обобщить? В этом я не уверен.

Эти теории игрушечных моделей, как правило, находятся в центре внимания небольших сообществ. Расчеты реальных амплитуд — более обширная область, и многие группы пытаются опередить друг друга в стремлении достичь новых рубежей. Возможно, в этой области меньше очевидных результатов. Но я бы на это не рассчитывал. Я знаю, что люди, работающие над этими расчетами, все чаще используют искусственный интеллект для написания кода. Если кто-то еще не проверил, можно ли с помощью искусственного интеллекта провести однократные передовые вычисления, то ему стоит это сделать (и у него должен быть план, как проверить результаты). Я бы не удивился, если бы удалось провести еще один цикл вычислений при разумном бюджете.

Затем перед сообществом встает вопрос: где проходит новая граница и что нужно выяснить дальше? В отличие от многих математических задач, амплитуды — это не просто полигон для новых методов. Цель состоит в том, чтобы сделать предсказания достаточно точными для сравнения с будущими экспериментами. Насколько мы приблизились к этой цели?

Но если говорить в целом, то я так и не получил ответа.

Меня интересовало не только то, что ИИ может сделать в сфере исследований сегодня, но и его будущее. Когда читаешь прогнозы о сверхинтеллекте, сделанные до появления больших языковых моделей, они часто предполагают фантастические риски. Люди представляли себе ИИ, который мог бы моделировать поведение людей, чтобы предсказывать их реакции и манипулировать ими, или выяснять, как создать вирус, уничтожающий целые виды, или поглощающие мир нанотехнологии. И обычное возражение против этих рисков заключается в том, что они смешивают интеллект — смутный и загадочный источник новых идей — с вычислительной мощностью. Критики утверждали, что даже целой сети новых центров обработки данных не хватит вычислительной мощности для выполнения этих задач, что это — кошмары из научно-фантастического будущего, которое наступит еще не скоро.

Я не знаю, что ответить этим критикам. Я немного узнал о том, на что способен ИИ, о том, что он может выполнять важную работу в моей прежней сфере деятельности при разумном бюджете и при этом работать практически автономно. Но я надеялся увидеть что-то более необычное, новые методы вычислений с неожиданной мощностью. Я надеялся заглянуть в будущее, чтобы иметь возможность обоснованно высказывать свое мнение в дискуссиях о сверхинтеллекте. Я хотел узнать, насколько далеко ИИ может продвинуться в преодолении вычислительных ограничений... и, похоже, я понял, что был слишком наивен в своих представлениях о том, где проходит этот предел.

Дополнение: каково это — когда тебя вылавливает машина?

Лэнс Диксон, профессор физики элементарных частиц и астрофизики в Национальной ускорительной лаборатории SLAC и Стэнфордском университете, проверил результат Клода, полученный с помощью девятипетлевого метода.

Большинство физиков-теоретиков, которых я знаю, признают, что нынешняя эра больших языковых моделей полностью изменит наше представление о физике. Вопрос был только в том, когда это произойдет. Для меня это случилось 1 сентября, когда Лиам Фицпатрик и Сиддхарт Мишра-Шарма из Anthropic сообщили мне, что Claude вычислил шестичастичную амплитуду MHV с девятью петлями в планарной N=4 супер-Янг-Милле, и попросили меня проверить результат.

Я не буду объяснять все технические термины в последнем предложении; Мэтт уже рассказал об этом. Но я должен упомянуть, что на самом деле есть два связанных объекта: «амплитуда» и то, что мы называем «форм-фактор». У каждого из них есть соответствующее количество петель: одна, две, три и так далее. Каждый последующий порядок петель сложнее предыдущего с точки зрения вычислений, даже несмотря на то, что мы нашли множество способов упростить задачу. Кроме того, форм-фактор проще амплитуды того же порядка. В 2023 году мы с Энди Лю показали, как использовать форм-фактор и странную симметрию, которую мы называем антиподовой двойственностью, чтобы получить амплитуду для восьми петель.

С 2023 года мы с моими коллегами стремились дойти до девяти петель, сначала для форм-фактора, а затем для амплитуды, используя идею, предложенную в 2023 году. Я думал, что напрямую рассчитать амплитуду будет слишком сложно. Поэтому я был очень впечатлен тем, что Клод смог сделать это напрямую. Не столько потому, что это была сложная вычислительная задача, сколько потому, что вся система очень хрупкая: если вы допустите хоть одну ошибку в алгоритме, все рухнет, как неудавшееся суфле, и вам останется только гадать, в чем дело (и отлаживать код). Кроме того, в конструкции так много деталей, которые слишком скучно описывать в публикации. Поэтому Клоду пришлось разрабатывать весь этот код с нуля.

От амплитуды в девяти петлях относительно легко вернуться к форм-фактору, и мне было проще проверить результат именно таким образом. Это означало, что последние две недели я занимался проверкой результата — форм-фактора в девяти петлях, над которым наша команда работала пару лет. Машина решила задачу, которую, как мне казалось, было слишком сложно решить напрямую. Беспокоит ли это меня лично? Вызывает ли это душевную боль?

Нет, по двум причинам. Во-первых, наша команда уже проводила кампанию по использованию пользовательских моделей-трансформеров для прогнозирования более сложных циклов, и одним из наших лозунгов было: «У нас есть все инструменты, чтобы проверить любое возможное решение, предложенное машиной». Claude — это модель-трансформер другого типа, которая, вероятно, в миллион раз больше нашей пользовательской модели. Но да, мы сказали, что можем проверить любой результат, предложенный ИИ-моделью, так что мы можем и должны это сделать. Вторая причина заключается в том, что, если посмотреть на то, как Claude решил проблему, он использовал все методы, которые мы с коллегами разрабатывали на протяжении многих лет, и представил решение (возможно, в качестве одолжения нам) в том же формате, который мы уже использовали. Так что пока я проверяю результат работы Claude, Claude проверяет всю нашу предыдущую работу. На самом деле я бы сказал, что Claude понимает наши статьи 2019 и 2023 годов лучше, чем любой человек, кроме моих соавторов.

После того как я написал это, Сон Хэ сообщил мне, что его группа также вычислила часть амплитуды девятипетлевого цикла, которая называется символом. (По какой-то причине людям просто нравится рассказывать мне о своих успехах в области девятипетлевых циклов.) Группа Сона использовала искусственный интеллект (GPT-6), чтобы помочь им вычислить некоторые ограничения, но не для всей системы в целом. Так что теперь меня опередили и машина, и люди, и машина — и все это за две недели.

Возвращаясь к вычислениям Клода: на мой взгляд, это настоящий триумф для большой языковой модели — выполнить все шаги по сложному рецепту, который мы описали, и задействовать всю вычислительную мощь. Но самые волнующие моменты наступят, когда большие языковые модели начнут открывать новые физические принципы и идеи раньше людей.

Телеграм: t.me/ainewsline

Источник: www.anthropic.com

Комментарии: