Давайте разрушим популярный миф, который фейковыми бенчмарками множат разработчики «Православных ИИ», что иностранные фронтирные модели поддерживают хуже русский язык

МЕНЮ


Главная страница

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



2026-09-15 11:22

Трезво про ИИ

Обычно подделка бенчмарка для доказательства просадки русского языка делается за счёт выбора очень старых версий LLM типа Llama 3, где действительно ещё не применялись массированно русские датасеты.

Официально русский стал поддерживать тот же OpenAI с 2023 года, до этого ChatGPT был «самоучкой» как в русском, так и в китайском. Однако феномен, что ИИ смог освоить даже без специальной подготовки данных русский и китайский, уже говорит о том, что мультиязычность для ИИ — глубоко нативное эмерджентное свойство, т. к. ИИ за счёт генерализации находит общность языков людей намного больше, чем даже доктора наук в лингвистике смогли понять.

После 2023 года изменились конвейеры обучения LLM, и на самом деле поддержка русского языка в «Православных ИИ» стала ХУЖЕ, чем в ChatGPT или Claude. Дело в том, что ИИ у фронтиров стал обучаться на более широком спектре задач на русском.

Давайте разберёмся. Если вы видите «бенчмарк», где отставание русского в общих языковых навыках фронтирной LLM более 2% от английского — это фейк, созданный путём манипуляции тестами. Официальный тест OpenAI по MMLU (общий корпус школьных знаний) для GPT-4 это опровергает: там русский проседает всего на 2%, но в рамках русского языка эта проблема на деле неустранимая. Просто запас лексики русского — около 200 тысяч слов, а английского за счёт специальных терминов от всех стран мира — более 1 миллиона слов. Поэтому без смешивания англицизмов и русского полного равенства не достичь, в русском просто не придуманы термины для многих научно-технических или торговых понятий. Если вы их заменяете на русские аналоги как в тесте MMLU, то падает семантическая точность, не сильно (2%), но падает. При смеси с англицизмами деградации не будет.

Однако на деле «Православные ИИ» ХУЖЕ в поддержке русского, если начнутся задачи уже прикладного плана, как математические или задачи по программированию. Видно, что русский в реале в топе поддержки Claude для математики со времён Claude 3, и ни о какой заметной просадке и речи нет.

Дело в том, что современные фронтиры обучаются на русский очень глубоко из-за того, что сейчас в конвейерах обучения все задачи на ту же генерацию кода или решения матзадач переводятся на все популярные языки мира. Это делается не только для языковой поддержки, но и для защиты от «переобучения ИИ», т. к. если дать пример задания только на английском, есть риск, что ИИ начнёт просто зубрить ответ как шаблонные паттерны. Если же задание будет на английском, русском, французском, да даже исландском, то ИИ приходится сделать «генерализацию знаний» и вывести смысловые абстракции понятий.

Поэтому если вам кто-то говорит, что фронтирные ИИ как Claude или ChatGPT хуже поддерживают русский, чем «Православные ИИ», то вас хотят обмануть.

Ситуация ровно обратная: фронтиры умеют решать сложные инженерные и научные задачи в постановке на русском, а наши LLM не проходили такого мощного обучения именно в контексте решения задач. Да даже в юридических задачах у нас многие в чате пишут, что иностранные фронтиры лучше понимают законодательство РФ, т.к. у них был даже Reinforcement Learning на агента-адвоката на русском.

https://www-cdn.anthropic.com/c6a80a657af445f40e31afac050f3bf76d3b1404.pdf

https://arxiv.org/pdf/2303.08774


Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: