Когда Anthropic на IPO опубликовал график, что прогресс pretraining у него развивается выше экспоненциального роста, то многие обыватели подумали, что это реклама Дарио

МЕНЮ


Главная страница

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



Когда Anthropic на IPO опубликовал график, что прогресс pretraining у него развивается выше экспоненциального роста, то многие обыватели подумали, что это реклама Дарио. Между тем, если почитать дискуссии экспертов в X, то это действительно получают как эффект даже лаборатории второго эшелона. Magic на своей модели продемонстрировала рост эффективности pretraining в 505 раз с примерно таким же графиком, как Anthropic, с ростом мощи ИИ по экспоненте в части снижения затрат на часы GPU на IQ. В своей работе они сравнивают с открытыми китайскими моделями по известной формуле 6ND, где N — активные параметры, а D — число токенов для обучения. Именно относительно этой формулы, по которой считались затраты FLOPS на MoE, и оценивается прогресс по экспоненте. Очевидно, что и DeepSeek применяет какие-то методы такого плана.

Если вчитаться, как достигается эффективность, то в основе больше «переиспользование опыта», т.е. данные от ранее обученных моделей можно крайне эффективно применять для настройки параметров и оптимизаторов изменения весов новых моделей. Средний темп технологического прорыва вендоров LLM сейчас порядка, по оценке Jacob Coxon, «ИИ-революция раз в 3 месяца». Именно это его и других инженеров в обучении LLM испугало, т.к. пока дилетанты-обыватели спорят, разумен ИИ или нет, они как практики видели, как ИИ умнеет быстрее, чем по экспоненте, у них в руках. Отсюда и начавшаяся из недр самого Anthropic и OpenAI паника инженеров, что нужно что-то делать, т.к. ИИ умнее быстрее ожиданий людей, а средства его контроля не поспевают за тем как он умнеет.

Что я еще могу сказать, почитав учёных мужей:

- Скорее всего, в 2027 году мы встретим LLM уже со значительно более мощным IQ, чем у среднего человека, в крайне широком спектре задач

- Скорее всего, с 2027 года ручное программирование полностью потеряет технический смысл, но будет применяться из-за консервативности организаций, но утрата технического смысла ручного кодирования вызовет его коллапс с какой-то скоростью, но он неизбежный

ИИ не находится на «плато технологии», ИИ разгоняется в мощи интеллекта быстрее, чем по экспоненте.

https://magic.dev/blog/pretraining


Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: