ИИ против студентов-химиков Пекина: кто выиграл химический поединок?

Пекин, 29 декабря /Синьхуа/ -- Представьте себе экзамен по химии, где вашими соперниками выступают не однокурсники, а самые совершенные искусственные интеллекты мира - GPT, Gemini, DeepSeek. Именно в такую необычную ситуацию попали 174 студента-химика Пекинского университета, который считается одним из двух лучших профильных вузов в Китае, а итоги этого виртуального турнира бросили вызов нашим представлениям о возможностях ИИ.

Факультет химии и молекулярной инженерии Пекинского университета на днях вместе с Вычислительным центром, факультетом компьютерных наук и Юаньпэйским колледжем того же университета представил новейшую разработку SUPERChem. И именно на основе этого инструмента был создан тот самый "экзаменационный вариант", который использовался в описанном выше виртуальном противостоянии ИИ и человека.

ОСОБЫЙ ПРОМЕЖУТОЧНЫЙ ЭКЗАМЕН

Когда открываешь банк вопросов SUPERChem, сразу чувствуешь, как нарастает давление.

Тонкий анализ кристаллических структур, подробный вывод заключений о механизмах реакций, количественные расчеты физико-химических свойств... Эти 500 вопросов взяты не из общедоступного банка вопросов в интернете, а являются глубокой адаптацией сложных экзаменационных задач и материалов из передовых профессиональных публикаций.

Зачем нужно было тратить столько усилий на составление совершенно новых вопросов?

"Потому что большие модели слишком хорошо "зубрят текст", - пояснили члены исследовательской команды. Большинство тестов, доступных в интернете, уже были "прочитаны" натренированными на огромных данных ИИ во время обучения. А химия - это как раз та дисциплина, где одной зубрежкой не обойтись. В ней сочетается строгая логическая дедукция и богатое пространственное воображение микромира. "Нам очень интересно, может ли одномерное предсказание следующего токена в больших языковых моделях решать сложные задачи, требующие умозаключения, в двухмерном или даже трехмерном пространстве", - добавили исследователи.

Создать набор задач, которые ИИ "не видел" ранее и которые требуют от него подлинных способностей к рассуждению, - чрезвычайно сложно. Однако именно в этом заключается уникальное преимущество химического факультета Пекинского университета. Около сотни преподавателей и студентов, среди которых немало победителей олимпиад, объединились, чтобы разработать для ИИ экзамен с высоким порогом входа, делающий упор на рассуждения и защищенный от списывания. Они хотят проверить, действительно ли ИИ "понимает" химию.

РЕЗУЛЬТАТЫ ПОЕДИНКА

В этом тщательно спроектированном испытании человек проявил сложную научную интуицию. В качестве базового уровня студенты бакалавриата факультета химии Пекинского университета, участвовавшие в тесте, показали результативность правильных ответов на уровне 40,3 проц. в контексте оценки тестов. Эта цифра сама по себе говорит о высоком уровне сложности предложенных заданий.

А как же справился ИИ? Даже ведущие тестируемые модели показали результаты, лишь сопоставимые со средним уровнем студентов младших курсов.

Команду удивило то, что визуальная информация внесла путаницу. Язык химии - это графика: ключевые данные содержатся в схемах молекулярных структур и механизмов реакций. Однако у некоторых моделей при добавлении изображений точность не повысилась, а снизилась. Это показывает, что у современных ИИ по-прежнему существует явный когнитивный барьер в преобразовании визуальной информации в химическую семантику.

Даже при правильном выборе ответа ход рассуждения при решении может не выдержать тщательной проверки. Поэтому команда разработала подробные правила подсчета баллов для каждого задания. Под "микроскопом" SUPERChem с первого взгляда становится ясно, действительно ли ИИ понимает материал или лишь делает вид, что понимает.

Исследователи обнаружили, что цепочки рассуждений у ИИ часто прерываются на таких сложных задачах, как прогнозирование структуры продукта, определение механизма реакции или анализ взаимосвязи структуры и свойств. Современные продвинутые модели, обладая огромными объемами знаний, все же демонстрируют недостаточные возможности при решении сложных химических задач, требующих строгой логики и глубокого понимания.

МАЛЕНЬКИЙ ШАГ К ОБЩЕМУ ИИ

Создание SUPERChem восполнило существующий дефицит в инструментах оценки возможностей многомодального глубинного анализа в химической науке. Опубликованные результаты работы преследуют цель не демонстрации несовершенства ИИ, а стимулирования его дальнейшего развития. SUPERChem похож на дорожный знак, который напоминает нам, что предстоит пройти долгий путь, необходимый для превращения универсального чат-бота в компетентного научного помощника, способного устанавливать связи между строением и характеристиками веществ, а также сделать вывод по механизму химических реакций. Разработчики подчеркивают переход от простого "воспроизведения информации" к "осознанию законов физического мира".

В настоящее время проект SUPERChem полностью работает с открытым исходным кодом. Команда надеется, что этот "экзамен", состоявшийся в Пекинском университете, станет общим достоянием мирового научного и ИИ-сообщества и послужит катализатором для следующего витка технологических прорывов. Возможно, в ближайшем будущем, повторное использование этого набора задач позволит ИИ продемонстрировать идеальную работу. Это станет сюрпризом как для области химии, так и для сферы ИИ.