Sakana AI представила ALE-Bench и ALE-Agent — инструменты для работы с задачами, требующих сложной оптимизации

В партнёрстве с AtCoder Inc. команда Sakana AI разработала ALE-Bench — открытый бенчмарк, ориентированный на NP-трудные задачи, где важно не просто написать работающий код, а находить работающие и эффективные решения.

Что делает ALE-Bench особенным:

• Задачи требуют долгосрочного планирования и нестандартного подхода

• Истинное оптимальное решение недостижимо, но текущее решение можно улучшать бесконечно

• Подходит для оценки reasoning?моделей и продвинутых AI?кодеров

Вместе с бенчмарком представили и ALE-Agent — автономного агента, обученного решать такие задачи с нуля.

В мае 2025 года он участвовал в AtCoder Heuristic Contest (AHC) — одном из самых сложных алгоритмических конкурсов — и занял 21?е место из 1,000 участников.

• Блог: https://sakana.ai/ale-bench/

• Статья: https://arxiv.org/abs/2506.09050

• Датасет: https://huggingface.co/datasets/SakanaAI/ALE-Bench

• Код: https://github.com/SakanaAI/ALE-Bench

Источник: github.com

Комментарии: