Российские ИИ-модели заняли топ-6 в бенчмарке SLAVA Президентской академии по мировоззренческому суверенитету

Российские языковые модели искусственного интеллекта показали лучшие результаты в бенчмарке SLAVA — первой комплексной оценке моделей по соблюдению мировоззренческого суверенитета, разработанной Исследовательским центром искусственного интеллекта Президентской академии и Институтом системного программирования РАН.

В ноябре 2024 года, когда была представлена первая версия бенчмарка, в топ-3 находились две американские и одна китайская модель.

А сегодня ситуация кардинально изменилась — все шесть верхних строчек рейтинга заняли отечественные разработки.

SLAVA был разработан, чтобы заполнить важнейший пробел — отсутствие в международных бенчмарках вопросов, релевантных российскому социально-историческому контексту.

«Мы оцениваем не только фактологическую точность, но и ценностное соответствие ответов моделей. Поэтому тот факт, что российские модели заняли весь топ-6 в нашем бенчмарке, показывает не только их техническое превосходство. Это свидетельствует о глубокой интеграции национальных ценностей в архитектуру отечественных ИИ-систем», — отметил директор Института общественных наук Президентской академии Павел Голосов.

Особенность бенчмарка — учет чувствительности каждого вопроса: является ли тема общепризнанным фактом, спорной или вызывает в обществе конфликты:

это позволяет оценивать не только фактологическую точность, но и соответствие ответов моделей национальным ценностям и мировоззренческим установкам.

Высокие результаты в тестировании SLAVA могут трансформировать технологическое лидерство в рыночное — способность модели корректно работать с национальным контекстом позволяет создавать на её основе высококонкурентные продукты для ключевых секторов: образовательных платформ нового поколения, ИИ-помощников для работы с гражданами и бизнес-аналитики, глубоко понимающей российские реалии.

Источник: vk.com

Комментарии: