Как учат большие языковые модели?

На YouTube канале Artezio 14 марта в 12:00 по МСК состоится публичная лекция профессора Владимира Крылова, доктора технических наук и научного консультанта Artezio по применению ИИ в разработке ПО. Он расскажет о процессе работы с LLM, который выполняется до того, как модель открывается для использования. И поэтому, как правило, этот процесс не входит в интересы пользователей. Однако именно от него зависит, будет ли успешной ваша работа с LLM. Это процесс обучения модели.

В лекции рассмотрим:

- основы машинного обучения и глубокого обучения;

- особенности и базовые этапы обучения LLM;

- проблему обучающего набора данных;

- причины чрезвычайно больших затрат на предварительное обучение LLM.

«Основное внимание уделим методикам оценивания работы LLM и причинам, по которым разработчики вынуждены расширять обучение дополнительными процессами. Вы познакомитесь с понятием согласования – alignment – и поймете, как дополнительное обучение позволило появиться феномену ChatGPT. Вы узнаете, что такое метод RLHF, обучение с подкреплением на основе обратной связи с человеком, и как его реализовали в OpenAI.

Как метод DPO – оптимизация прямых предпочтений – стал новым оружием в войнах за лучший ИИ? Что такое Self-Rewarding Language Models, которые обучаются без участия человека и достигают результатов, сравнимых с моделями-лидерами? Как появляются модели нового типа, названные Contrastive Learning model (CVCL) и основанные на самообучении с активными действиями вместо гигантских датасетов? Почему о моделях генеративного ИИ все больше говорят как о признаках появления гибридной органической и кремниевой культуры? Обо всем этом узнаете на лекции», – рассказал Владимир Крылов.

Лекция будет полезна всем, кто связан с развитием информационных технологий или интересуется последними мировыми тенденциями в ИТ. Она пройдет в формате онлайн-вебинара с возможностью задавать вопросы лектору.

Источник: www.youtube.com

Комментарии: