30 базовых концепций LLM

1. LLM (Large Language Model) — модель, которая генерирует текст, предсказывая наиболее вероятный следующий токен.

2. Token (токен) — фрагмент текста, например, слово или знак препинания.

3. Tokenization (токенизация) — процесс преобразования текста в последовательность токенов.

4. Embeddings (эмбеддинги) — числовые векторы, которые отражают значение токенов.

5. Latent Space (латентное пространство) — математическое пространство, где эмбеддинги организуются по смыслу.

6. Parameters (параметры) — внутренние переменные, хранящие усвоенные моделью паттерны.

7. Pre-training (предварительное обучение) — обучение на огромных объёмах текстовых данных для освоения языковых паттернов.

8. Base Model (базовая модель) — предварительно обученная модель, которая предсказывает текст, но не следует инструкциям.

9. Instruct Model (модель с инструкциями) — базовая модель, дополнительно обученная следовать инструкциям и давать полезные ответы.

10. Fine-Tuning (дообучение) — дополнительное обучение на меньшем наборе данных для формирования поведения модели.

11. Alignment (выравнивание) — обеспечение того, чтобы поведение модели было полезным, честным и безвредным.

12. RLHF (Reinforcement Learning with Human Feedback — обучение с подкреплением с обратной связью от человека) — использование ранжированных человеком ответов для корректировки поведения модели.

13. Prompt (промпт) — полный ввод, отправляемый модели, включая инструкции и контекст.

14. System Prompt (системный промпт) — высокоуровневые инструкции, определяющие роль и ограничения модели.

15. User Prompt (пользовательский промпт) — конкретный вопрос или инструкция, предоставленная пользователем.

16. Context Window (окно контекста) — максимальное количество токенов, которое модель может обработать за один раз.

17. Zero-Shot Learning (обучение без примеров) — выполнение задачи без примеров в промпте.

18. Few-Shot Learning (обучение на нескольких примерах) — включение примеров в промпт для направления формата вывода или поведения.

19. Chain of Thought (цепочка мыслей) — побуждение модели демонстрировать пошаговое рассуждение.

20. Inference (вывод) — процесс генерации выходных токенов с помощью обученной модели.

21. Latency (задержка) — время между отправкой промпта и получением вывода.

22. Temperature (температура) — параметр, контролирующий случайность при выборе токенов.

23. Hallucination (галлюцинация) — уверенная генерация неверной или вымышленной информации.

24. Grounding (привязка к реальности) — ограничение вывода предоставленной или проверяемой информацией.

25. RAG (Retrieval-Augmented Generation — генерация, дополненная поиском) — извлечение внешних данных и добавление их в промпт перед генерацией.

26. Workflow (рабочий процесс) — фиксированная, предопределённая последовательность шагов, которых придерживается LLM.

27. Agent (агент) — система, в которой LLM планирует действия, а затем динамически выбирает шаги и инструменты.

28. Multimodality (мультимодальность) — способность обрабатывать несколько типов входных данных, таких как текст и изображения.

29. Benchmarks (бенчмарки) — стандартизированные тесты для сравнения возможностей модели.

30. Guardrails (ограничители) — системы, блокирующие небезопасные или неподходящие входные и выходные данные.

Источник: vk.com

Комментарии: