Stanford выпустил новый курс: “Transformers & Large Language Models”

Авторы - братья Amidi, и уже вышли три бесплатные лекции на YouTube. Это, пожалуй, один из самых системных вводных курсов по современным LLM.

Содержание курса:

• Transformers: токенизация, эмбеддинги, attention, архитектура

• Основы LLM: Mixture of Experts, типы декодирования

• Обучение и настройка: SFT, RL, LoRA

• Оценка моделей: LLM/VLM-as-a-judge, лучшие практики

• Трюки: RoPE, аппроксимации attention, квантизация

• Резонирование: масштабирование при обучении и инференсе

• Agentic-подходы: RAG, tool calling

Если ты уже знаком с этой темой — отличный повод освежить знания и попробовать реализовать некоторые приёмы с нуля.

https://cme295.stanford.edu/syllabus/

Источник: cme295.stanford.edu

Комментарии: