Google пересчитал Android Bench для AI-кодинга: новый движок оценки и восемь новых моделей

В июльском релизе апдейта Android Bench (лидерборда LLM для Android-задач) изменились не только модели, но и сам механизм оценки. Ранее бенчмарк использовал кастомный mini-swe-agent v1, теперь — фреймворк Harbor.

Весь лидерборд пересчитали заново: баллы всех моделей изменились, а старые результаты сохранены в архиве.

Добавили восемь моделей: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus и Qwen 3.7 Max. Лидер — Claude Fable 5 с 84,5 баллами. GPT-5.5 отстаёт на четыре балла (80,2), а Sonnet 5 — почти на 10 баллов. Ожидаем добавления семейства GPT 5.6.

Моя аналитика обновленного Android Bench и личные впечатлений:

Топ 5 моделей вполне оправдан и скоро там ворвутся модели GPT 5.6. Проблема топов - очень высокая цена для достижения этих цифр, хотя другие показали затраты меньше, потому что просто не смогли справится и остановились на пол пути

GLM 5.2 выдаёт результат на уровне Opus 4.8, но стоит на 33% дороже ($117 против $88). Почти треть переплаты за тот же результат. Мой личный опыт это подтверждает отдельно от бенчмарка: на подписке за $60 я за час съел недельный лимит, не сделав ничего полезного. Не знаю, кому такие открытые модели вообще нужны в таком виде.

Gemini 3.5 Flash — реально худшая сделка во всём рейтинге. Хуже Fable 5 по score (71.1 против 84.5) и при этом дороже ($165.6 против $133.2). Flash в названии обычно значит дешёвый быстрый тир, тут наоборот: дороже топа при качестве почти на 13 пунктов ниже.

Kimi K2.7 Code — результат между Opus 4.7 и 4.8 (70.4), а стоит примерно вдвое дешевле. Пока лучший баланс качество/цена среди моделей с внятным score.

DeepSeek V4 (Pro и Flash) заметно отстают от топа по качеству, но стоят копейки. Для дешёвого чернового прогона это рабочий вариант.

Жду появления в рейтинге моделей Composer 2.5 и Grok 4.5, так как они явно не дали мне глубины Opus, но справились довольно неплохо, и продолжаю их тесты. GLM 5.2 оказался мусором, съедающим бюджеты.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: