Горячая дискуссия в интернете за рубежом: китайский технологический гигант Baidu открыл закон о масштабировании раньше OpenAI

В последнее время в зарубежном интернете ведется дискуссия о происхождении основной теории больших моделей «Закон масштабирования». Последние мнения и данные свидетельствуют о том, что китайский технологический гигант Baidu добился этого прорыва раньше, чем OpenAI.

Известное гонконгское СМИ «South China Morning Post» сообщило в своем отчете «Baidu открыла закон о масштабировании раньше OpenAI? В то время как США уже давно считаются лидером в области инноваций в области моделей ИИ, последняя дискуссия предполагает, что Китай может быть более продвинутым в изучении этих концепций, дебаты об ИИ возобновились.

В основе разработки больших моделей лежит «закон масштабирования» — принцип, согласно которому чем больше обучающие данные и параметры модели, тем более интеллектуальной будет модель. Эту идею широко приписывают статье OpenAI 2020 года «Законы масштабирования для нейронных языковых моделей», и с тех пор эта концепция стала краеугольным камнем исследований в области искусственного интеллекта.

Тем не менее, Дарио Амодеи, соавтор статьи OpenAI, бывший вице-президент по исследованиям в OpenAI и основатель Anthropic, рассказал в ноябрьском подкасте, что он обнаружил феномен закона масштабирования в разработке моделей, когда он и Эндрю Нг исследовали ИИ в Baidu в 2014 году. По словам Дарио Амодея, производительность модели начала значительно улучшаться по мере увеличения объема данных, предоставляемых модели, увеличения размера модели и увеличения времени обучения. Это неформальное наблюдение позже было подтверждено в языковой модели GPT-1 от OpenAI и считается «непреложным кредо или принципом» для разработки больших моделей.

Кроме того, инсайдеры отрасли также сообщили, что первоначальное исследование Scaling Law на самом деле было проведено Baidu в 2017 году, а не OpenAI в 2020 году. Метаисследователь и докторант Корнельского университета Джек Моррис процитировал статью под названием «Масштабирование глубокого обучения предсказуемо, эмпирически» на сайте X (ранее Twitter), которая была опубликована лабораторией искусственного интеллекта Baidu в Силиконовой долине в 2017 году и подробно обсуждала феномен масштабирования в таких областях, как машинный перевод и языковое моделирование.

Но важность этой статьи в значительной степени упускается из виду, и OpenAI процитировала статью исследователей Baidu 2019 года в своем исследовании Scaling Law «За пределами точности на уровне человека: вычислительные проблемы в глубоком обучении». Критики говорят, что OpenAI выборочно цитирует статью Baidu 2019 года и игнорирует более раннее исследование 2017 года, которое было истинным первоисточником концепции закона масштабирования.

Некоторые исследователи заявили, что именно ранние исследования Baidu заложили теоретическую основу для разработки больших моделей ИИ, и выпустили первое поколение больших моделей Wenxin в 2019 году, которое было почти в то же время, что и OpenAI. «Прогресс Китая в области крупномасштабных моделей также получил международное признание». По данным гонконгского издания South China Morning Post, на Всемирном конгрессе Baidu 2024 года в Шанхае Baidu объявила о новых технологиях для смягчения проблемы галлюцинаций при генерации изображений, то есть для создания вводящих в заблуждение или фактически противоречивых изображений. Baidu также сообщила, что по состоянию на начало ноября средний ежедневный объем звонков модели Wenxin компании Baidu достиг 1,5 миллиарда, увеличившись примерно в 30 раз по сравнению с 50 миллионами, впервые объявленными год назад.

С постоянным прогрессом и применением технологий искусственного интеллекта влияние и лидерство Китая в мировой области искусственного интеллекта станут более заметными.

Источник: vk.com

Комментарии: