Это репозиторий с набором визуальных шпаргалок, посвященных трансформерам и большим языковым моделям (LLM)

Материалы основаны на курсе CME 295 "Трансформеры и большие языковые модели", читаемом в Стэнфордском университете.

Это не книга или подробный туториал, а именно сжатые, наглядные обзоры ключевых концепций. Используются диаграммы, краткие пояснения, основные формулы и определения.

Содержание: Охватывает фундаментальные темы, необходимые для понимания LLM:

Механизм внимания (Attention Mechanism)

Архитектура Трансформера (Transformer Architecture)

Позиционное кодирование (Positional Encoding)

Предобучение (Pre-training) и его цели (например, Masked Language Modeling, Next Sentence Prediction)

Дообучение (Fine-tuning) для конкретных задач

Промптинг (Prompting) и различные его техники

Оценка (Evaluation) LLM

Другие важные концепции в этой области.

Идеально подходит для повторения материала или для того, чтобы быстро схватить суть той или иной концепции.

Github (https://github.com/afshinea/stanford-cme-295-transformers-large-language-models)

Multi-Head Attention Shape Transformations (https://github.com/rasbt/LLMs-from-scratch/discussions/595)

Источник: github.com

Комментарии: