Вышел классный отчет Stanford HAI (Human centred AI) AI Index 2025

Некоторые выводы:

1. Производительность ИИ на сложных бенчмарках продолжает расти.

В 2023 году исследователи представили новые тесты - MMMU, GPQA и SWE-bench - чтобы проверить пределы возможностей передовых ИИ-систем. Уже через год результаты резко улучшились: показатели выросли на 18,8, 48,9 и 67,3 процентных пункта соответственно. Помимо тестов, ИИ-системы добились значительного прогресса в генерации высококачественного видео, а в некоторых задачах агенты на базе языковых моделей даже превзошли людей в программировании при ограниченных временных ресурсах

2. ИИ все глубже внедряется в повседневную жизнь.

От здравоохранения до транспорта - ИИ быстро выходит за пределы лабораторий. В 2023 году FDA одобрило 223 медицинских устройства с поддержкой ИИ, тогда как в 2015 году их было всего шесть. На дорогах беспилотные автомобили уже не эксперимент: Waymo, один из крупнейших операторов в США, осуществляет более 150 000 автономных поездок в неделю, а доступный роботакси-флот Apollo Go от Baidu работает во многих городах Китая

3. Бизнес полностью делает ставку на ИИ, что приводит к рекордным инвестициям и использованию, при этом исследования подтверждают значительный рост производительности.

В 2024 году частные инвестиции в ИИ в США достигли $109,1 млрд - почти в 12 раз больше, чем в Китае ($9,3 млрд) и в 24 раза больше, чем в Великобритании ($4,5 млрд).

4. США сохраняют лидерство в создании топовых моделей ИИ, но Китай быстро сокращает разрыв по качеству.

5. Экосистема ответственного ИИ развивается неравномерно.

Число инцидентов, связанных с ИИ, резко растет, но стандартизированные оценки ответственного ИИ (RAI) по-прежнему редки среди крупных индустриальных разработчиков.

6. Мировой оптимизм в отношении ИИ растет, но сохраняются глубокие региональные различия.

В Китае (83%), Индонезии (80%) и Таиланде (77%) большинство считают ИИ более полезным, чем вредным. В Канаде (40%), США (39%) и Нидерландах (36%) оптимизм значительно ниже.

7. ИИ становится эффективнее, дешевле и доступнее.

Благодаря все более мощным небольшим моделям стоимость инференса системы на уровне GPT-3.5 снизилась более чем в 280 раз с ноября 2022 по октябрь 2024 года. На аппаратном уровне расходы ежегодно снижаются на 30%, а энергоэффективность растет на 40% в год.

8. Государства усиливают регулирование и инвестиции в ИИ.

В 2024 году федеральные агентства США приняли 59 нормативных актов, связанных с ИИ - более чем вдвое больше, чем в 2023 году

9. Образование в области ИИ и информатики расширяется, но сохраняются пробелы в доступе и подготовке.

Две трети стран уже внедрили или планируют внедрить информатику в школьную программу - вдвое больше, чем в 2019 году, при этом наибольший прогресс наблюдается в Африке и Латинской Америке. В США число выпускников бакалавриата по вычислительной технике выросло на 22% за 10 лет.

10. Индустрия вырывается вперед в ИИ, но конкуренция на границе возможностей усиливается.

Разрыв в производительности сокращается: разница в рейтинге Elo между первой и десятой моделью снизилась с 11,9% до 5,4% за год, а между двумя лидерами - до 0,7%.

11. ИИ получает высшие научные награды за вклад в науку.

Значимость ИИ отражается в крупных научных премиях: две Нобелевские премии отмечают работы, приведшие к развитию глубокого обучения (физика) и его применению к предсказанию структуры белков (химия), а премия Тьюринга присуждена за прорывы в области обучения с подкреплением

12. Сложные рассуждения остаются вызовом.

ИИ-модели превосходно справляются с задачами уровня Международной математической олимпиады, но по-прежнему испытывают трудности с бенчмарками на сложное логическое мышление, такими как PlanBench. Часто они не могут надежно решать задачи на логику даже при наличии корректных решений, что ограничивает их применение в критически важных сферах, где требуется высокая точность

Источник: vk.com

Комментарии: