Сравнение мощностей топовых нейросетей по бенчмаркам MLPerf показывает лидерство Grok 4 и Gemini 3 Pro в ключевых тестах

Сравнение мощностей топовых нейросетей по бенчмаркам MLPerf показывает лидерство Grok 4 и Gemini 3 Pro в ключевых тестах. Этот график демонстрирует производительность моделей на задачах вроде обучения и инференса, где цифры — относительные показатели эффективности (выше — лучше).

Топ-модели по бенчмаркам

Gemini 3 Pro лидирует в Humanity's Last Exam (44.7%) и Supercomputer (28.7%), демонстрируя сильные результаты в сложных задачах понимания. Grok 4 от xAI доминирует в SRC H (98.7%) и SRC F (92.8%), особенно в оптимизированных вычислениях.

Лидеры по категориям

1) Обучение (Training v4): Grok 4 выигрывает в SRC H и F (98.7% и 92.8%), что важно для кастомных моделей.

2) Инференс (Inference): O4 и Grok 4 сильны в оффлайн-режимах (87.5% и 92.8%), Gemini 3 Pro — в онлайн-запросах.

3) Слабые места: Многие модели, включая GPT 3.5, не показывают результатов в новых тестах вроде SRC.

Данные основаны на MLPerf — стандартном бенчмарке для ИИ, где учитывается скорость и эффективность на GPU. Для разработчиков Grok 4 выглядит перспективным в высоконагруженных задачах!

Источник: vk.com

Комментарии: