METR: у ИИ начинается свой "закон Мура"

Когда ИИ сможет самостоятельно выполнять долгие проекты?

Исследователи из METR нашли закономерность:

временной горизонт задач, которые осиливают AI-агенты, удваивается каждые ~7 месяцев.

Теперь они проверили это на 9 новых бенчмарках:

MATH, OSWorld, LiveCodeBench, Mock AIME, GPQA Diamond, Tesla FSD, Video-MME, RLBench и SWE-Bench Verified.

Результаты:

Аналогичные темпы роста и в науке, математике, робототехнике, программировании и даже в автопилоте.

Новые модели, вроде o3, растут быстрее прогноза — медианное удвоение теперь ~4 месяца.

На reasoning-задачах агенты держатся 1+ час.

А вот в OS и браузере — всё ещё ~2 минуты, из-за слабых инструментов.

«Moore’s Law для ИИ»: не про чипы — про способность мыслить и работать дольше. Быстрее. Самостоятельно.

ИИ-агенты растут не по дням, а по бенчмаркам.

Источник: vk.com

Комментарии: