"ИИ-ши" GPT-5 и Gemini 2.5 Pro "получили золото" в Международной олимпиаде по астрономии и астрофизике

Нейросети GPT-5 и Gemini 2.5 Pro продемонстрировали выдающиеся результаты на Международной олимпиаде по астрономии и астрофизике (IOAA). Исследователи проверили их на задачах из 2022-2025 годов и оценили решения по официальным критериям.

Особенно впечатляет, что задачи IOAA-2025, составленные в августе 2025 года, были новыми для моделей. Тем не менее, результаты оказались стабильными, что говорит о способности ИИ решать задачи по смыслу, а не заучивать ответы.

Эксперимент включал теоретический тур и анализ данных, без наблюдательного тура. Условия были максимально приближены к реальным: единые требования, единые запросы и проверка по рубрикам. GPT-5 показал результаты 84,2% в теории и 88,5% в анализе данных, а Gemini 2.5 Pro — 85,6% и 75,7% соответственно.

Другие ИИ, такие как o3 и Claude Sonnet, также хорошо справились с теоретическим туром, но в анализе данных "накосячили". Например, у OpenAI o3 в 2023-2024 годах — "серебро"», а у Claude Opus и Claude Sonnet в 2024-2025 годах — вплоть до "бронзы".

Учёные отмечают, что сильные стороны современных ИИ — формулы, расчёты и применение известных соотношений. Однако они часто допускают концептуальные ошибки: проблемы с геометрией, им туго даётся пространственное мышление, также ИИ пока трудно читать и интерпретировать графики.

Для дальнейшего прогресса ИИ, особенно, пытаясь создать пугающий но волнующий многих AGI или "сверх-ИИ" необходимо развивать мультимодальность и визуальные инструменты для решения задач, требующих наглядности.

Источник: vk.com

Комментарии: