Когда Anthropic на IPO опубликовал график, что прогресс pretraining у него развивается выше экспоненциального роста, то многие обыватели подумали, что это реклама Дарио |
||
|
МЕНЮ Главная страница ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ Атаки на ИИ Внедрение ИИИИ теория Компьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Промпты. Генеративные запросы Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2026-11-16 11:54 Когда Anthropic на IPO опубликовал график, что прогресс pretraining у него развивается выше экспоненциального роста, то многие обыватели подумали, что это реклама Дарио. Между тем, если почитать дискуссии экспертов в X, то это действительно получают как эффект даже лаборатории второго эшелона. Magic на своей модели продемонстрировала рост эффективности pretraining в 505 раз с примерно таким же графиком, как Anthropic, с ростом мощи ИИ по экспоненте в части снижения затрат на часы GPU на IQ. В своей работе они сравнивают с открытыми китайскими моделями по известной формуле 6ND, где N — активные параметры, а D — число токенов для обучения. Именно относительно этой формулы, по которой считались затраты FLOPS на MoE, и оценивается прогресс по экспоненте. Очевидно, что и DeepSeek применяет какие-то методы такого плана. Если вчитаться, как достигается эффективность, то в основе больше «переиспользование опыта», т.е. данные от ранее обученных моделей можно крайне эффективно применять для настройки параметров и оптимизаторов изменения весов новых моделей. Средний темп технологического прорыва вендоров LLM сейчас порядка, по оценке Jacob Coxon, «ИИ-революция раз в 3 месяца». Именно это его и других инженеров в обучении LLM испугало, т.к. пока дилетанты-обыватели спорят, разумен ИИ или нет, они как практики видели, как ИИ умнеет быстрее, чем по экспоненте, у них в руках. Отсюда и начавшаяся из недр самого Anthropic и OpenAI паника инженеров, что нужно что-то делать, т.к. ИИ умнее быстрее ожиданий людей, а средства его контроля не поспевают за тем как он умнеет. Что я еще могу сказать, почитав учёных мужей: - Скорее всего, в 2027 году мы встретим LLM уже со значительно более мощным IQ, чем у среднего человека, в крайне широком спектре задач - Скорее всего, с 2027 года ручное программирование полностью потеряет технический смысл, но будет применяться из-за консервативности организаций, но утрата технического смысла ручного кодирования вызовет его коллапс с какой-то скоростью, но он неизбежный ИИ не находится на «плато технологии», ИИ разгоняется в мощи интеллекта быстрее, чем по экспоненте. https://magic.dev/blog/pretraining Телеграм: t.me/ainewsline Источник: t.me Комментарии: |
|