Anthropic в видео на роуд-шоу IPO показал слайд, что достиг сверхэкспоненциального прогресса pretraining для LLM

Anthropic в видео на роуд-шоу IPO показал слайд, что достиг сверхэкспоненциального прогресса pretraining для LLM. Jacob Coxon подтвердил его подлинность. Это фактически «конец кожаных программистов» и также можно ожидать ещё более агрессивного вторжения ИИ-агентов во все сферы бизнеса в 2027 году. Давайте поясним, о чём речь.

Напомню, обучение ИИ состоит по факту из двух фаз — pretraining и reinforcement learning. Сам pretraining разбивается на простое изучение моделью корпуса текстов/изображений, чтобы понять и выучить его закономерности, и на supervised fine-tuning (SFT), где модель уже учат запоминать ответы на вопросы. SFT ведётся на деле также, как pretraining технически, но модель просто не учит сами вопросы.

На pretraining, хотя модель и моделирует предсказание только следующего токена, а не достижение цели, как в reinforcement learning, именно тут у модели образуются её знания. В части программирования сверхмощный pretraining означает, что модель получает неограниченные способности в следующем:

- запомнить любые, даже экзотические синтаксисы и паттерны языков программирования;

- запомнить неограниченное количество приёмов кодирования как блоков текста примерно до 500–800 строк на современном уровне;

- запомнить неограниченное число ответов на вопросы «как написать код по заданию» до этих 500–800 строк.

Чтобы модель могла помнить это, ей нужно, конечно, много весов. Однако если модель компактная, как DeepSeek Flash, то, хотя она не может чётко помнить экзотические фреймворки, по экспоненте падает стоимость pretraining для создания base-модели. Ранее я приводил статистику со странными данными, что циклы RL-обучения подешевели у китайцев до нескольких миллионов долларов, но не до конца было ясно, почему доля pretraining ещё резко упала в расходах на GPU.

Слайд Anthropic даёт ответ — вендоры LLM сделали серию крупных технологических прорывов в поднятии эффективности обучения и обрушили его себестоимость на порядки. DeepSeek этим пользуется для низких цен своих Flash-моделей, а Anthropic использует эти ресурсы, чтобы ещё больше запихать знаний в модель.

Важный аспект: большинство технологий повышения эффективности pretraining непубличные и know-how ведущих вендоров LLM. Для наших «Православных LLM» это в чём-то шанс, т.к. не требуется такое огромное количество GPU, как ранее, на то же обучение. Однако эти технологии нельзя скачать с весами китайцев с Hugging Face, насколько мы тут отстали — сложно сказать. Сверяя метрики по процентам base/RL по GigaChat, можно сказать примерно о 2-х летнем отставании, но для технологий, где эффективность растёт по экспоненте, — это просто пропасть между уровнем современной и отстающей LLM.

Но самый важный инсайт тут вот в чём. Чаще всего разработчики указывают, что ИИ не может делать их работу, показывая какие-то примеры кода, где ИИ сделал не так по реализации паттерна, сделал относительно короткий ответ не так или где ИИ просто не знает точно синтаксис и типовые приёмы программирования какой-то среды. Все эти аргументы на деле улетучиваются, если LLM имеет сверхэкспоненциальный рост в pretraining.

В чём-то ещё несколько месяцев назад звучало хайпом, что ручное программирование уничтожено ИИ, но теперь можно сказать, что даже если у ИИ есть недостатки, то в 2027 году он определённо не оставит нигде место на уровне написания кода, где человек заметно сильнее. Вопрос перейдёт в плоскость управления ИИ при генерации кода на уровне реализации бизнес-требований, требований к архитектуре и проверке результатов. Шансов у ручного кодирования выжить практически нет, этот график это показывает довольно однозначно.

https://x.com/hilbertspaess/status/2121331333654086124

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: