Для понимания, как на практике ведётся обучение студентов создавать LLM

Для понимания, как на практике ведётся обучение студентов создавать LLM. В КНР преподают студентам сами авторы передовых LLM. На видео один из авторов GLM профессор Тан Цзе ведёт обычный университетский курс в Цинхуа — Advanced Machine Learning. Это новый набор студентов, стартовавший 16 сентября.

На лекции Тан Цзе рассказал студентам, что «битва за чат уже закончена» и что их дело — делать агентов: просто чаты с ИИ уже никому не нужны. Агенты уровня AGI и ASI — это то, зачем он их учит. Тан Цзе также отметил, что современный уровень обучения LLM состоит в том, чтобы выгнать как можно больше людей из самого цикла обучения: все должны делать агенты, иначе человек становится бутылочным горлом сингулярности самообучения ИИ. Тан Цзе прямо говорит студентам, что столько, сколько их тут собралось, не нужно для обучения LLM, поэтому у него нет цели вытягивать всех, кто пришёл на курс — его интересуют только отличники и то, что он им дал, и больше никто, остальных он отчислит. Тем не менее, уровень энтузиазма студентов приобщится элите ИИ виден хорошо на видео.

За 16 недель студенты должны собрать полный пайплайн LLM: база ? Scaling ? синтетические данные ? preference/RL ? агенты ? непрерывное обучение ? «AI учит AI».

Студенты должны пройти весь цикл своими руками:

• С нуля написать Tokenizer и Transformer.

• Сквозное обучение модели.

• Написать Triton attention kernel и замерить прирост.

• Очистка данных из raw dump, подгонка scaling law и экстраполяция.

• Сравнение SFT / DPO / RLVR на одной базе.

• Построение верифицируемой среды + harness, обучение long-horizon агента с self-judge loop.

Работа идёт не индивидуально, а в группах 2–3 человека: студентов сразу учат работать «когортой», т.к. только устаревшие университеты готовят одиночек. На 16-й неделе студенты должны защитить свой работающий прототип и подготовить сразу же описание его в формате как для научной публикации NeurIPS.

Кто обучался на наших курсах по LLM в университетах — можете поделиться в комментариях сравнением уровня.

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: