Научная статья, созданная ИИ, впервые прошла рецензирование!

Японский стартап Sakana сообщил о том, что текст, написанный его искусственным интеллектом, впервые успешно прошёл научное рецензирование. Компания уверяет, что их ИИ The AI Scientist-v2 самостоятельно разработал статью: сформировала гипотезы, провела эксперименты, обработала данные и создала визуализацию. В итоге, одна из трёх таких статей получила одобрение на семинаре уважаемой конференции International Conference on Learning Representations. Однако, сразу после этого, компания решила добровольно отозвать публикацию, сославшись на уважительное отношение к правилам конференции и принципу открытости в науке.

Несмотря на смелое заявление стартапа, успех ИИ в написании научных статей вызывает вопросы. Sakana сама признаёт, что система иногда ошибалась в указании источников. Например, метод, разработанный в 1997 году, ИИ ошибочно указал как публикацию 2016 года. Это вновь подчеркивает проблемы с точностью и достоверностью данных у искусственных интеллектов.?

Также эксперты отмечают, что успех Sakana был ограниченным. Публикация была принята не в основной секции конференции ICLR, а только на её отдельном семинаре, где шансы на принятие статей традиционно выше, а тексты рецензируют молодые и менее опытные учёные. Кроме того, отозванная статья не прошла дополнительную проверку, на которой её могли бы отклонить окончательно.

Учёные также подчеркивают, что компания выбирала наиболее удачные варианты из нескольких работ, созданных её системой. Это означает, что результатом стало не автономное исследование ИИ, а скорее совместная работа ИИ и человека. По словам исследователя из Университета Альберты, Мэтью Газдиала, достижения Sakana демонстрируют, что сотрудничество человека и ИИ может приносить хорошие результаты, но не подтверждают, что искусственный интеллект может работать самостоятельно.

Майк Кук, научный сотрудник Королевского колледжа Лондона, выразил сомнения в серьёзности проведённой экспертизы. Он отметил, что подобные семинары зачастую посвящены обсуждению сложностей и отрицательных результатов исследований. Это упрощает задачу для ИИ, который может правдоподобно описывать проблемы, но не гарантирует значительности научного вклада.

Сakana также не утверждает, что их система может генерировать инновационные или революционные исследования. Основной задачей эксперимента было проверить качество научных текстов, созданных искусственным интеллектом. Стартап подчеркивает важность разработки чётких правил и норм для использования ИИ в науке. Без них существует риск, что ИИ будет писать статьи лишь для прохождения рецензирования, а не для реального внесения вклада в науку.

ICLR — это ежегодное мероприятие, посвящённое исследованиям в области машинного обучения и искусственного интеллекта, особенно глубокого обучения. Конференция включает доклады приглашённых специалистов, а также устные и стендовые презентации рецензируемых статей. ICLR известна открытым процессом рецензирования, где обсуждения между авторами и рецензентами доступны для публичного ознакомления.

Источник: vk.com

Комментарии: