Советы от «деда»: почему большие языковые модели не всегда годятся для решения задачи

Выход ChatGPT в конце 2022 года стимулировал бизнес к внедрению искусственного интеллекта для принятия решений на основе данных. Это событие также сделало фокус на генеративные модели гипертрофированным и замело под ковер важную часть слабого ИИ, который применяется в бизнесе уже десятки лет и до сих пор приносит на порядок больше пользы. Руководитель лаборатории машинного обучения Альфа-банка Евгений Смирнов рассуждает о том, когда нужно выбрать именно большую языковую модель и когда, наоборот, эффективнее использовать «дедовские» классы моделей, обученные под узкопрофильную задачу, такие, как логистическая регрессия, градиентный бустинг, метод случайного леса и другие

Является ли большая языковая модель (Large Language Model, LLM) самым подходящим инструментом для решения вашей задачи? Если кратко, то, чтобы ответить на этот вопрос, нужно сделать выбор на основе следующих признаков: качество решения конечной задачи, скорость представления ответа, время, затраченное на внедрение решения, и стоимость владения технологией. Задача этой колонки — дать читателю верхнеуровневое представление о том, как каждый из предложенных вариантов на них влияет.

Ключ к пониманию области применимости больших языковых моделей лежит через понимание того, как ИИ получает и применяет знания. Оказывается, ИИ и человек делают это по очень схожим сценариям. Выведем их сначала для этапа обучения, затем для применения полученных знаний. Далее разберем, чему же учились большие языковые модели, что станет неким резюме для нашего виртуального сотрудника. Будем ожидать, что ИИ будет хорошо решать задачи, экзамены по которым он сдал на «отлично», подобно профильному выпускнику учебного заведения.

Рассмотрим на примере процесс получения знаний студентом и искусственным интеллектом. Обучение студента можно разбить на три этапа: чтение литературы или посещение лекций, решение практических задач, сдача экзамена. На первом этапе он впитывает информацию, на втором применяет ее для решения реальных задач, на третьем происходит измерение качества экзаменатором. Если студент набрал достаточное количество баллов на экзамене, то его обучение признается успешным, в противном случае он идет на дообучение, повторяя цикл. ИИ учится ровно по тому же алгоритму: считывает необходимый набор данных, решает поставленную перед ним задачу, проверяет качество и делает следующую итерацию, пока не достигнет нужного уровня качества.

Разберем теперь процесс применения знаний человеком и ИИ. В рамках процесса обучения у естественного интеллекта формируются новые нейронные связи в мозгу, которые помогают человеку найти ответ на вопрос на основе полученной информации. Специалист по разработке нейросетей формирует архитектуру нейронной сети, связи в которой формируются в процессе обучения и записываются в виде множества матриц в области хранения информации сервера. В термине LLM первое слово — large подчеркивает огромное количество таких параметров, которое измеряется миллиардами штук.

Перейдем к процессу обучения больших языковых моделей. Исходя из этимологии этого термина, они созданы для того, чтобы работать с естественным языком. В процессе обучения они тренируются говорить на человеческом языке и решать ряд задач из разных предметных областей знаний. Если говорить более технически, то они учатся генерировать слово за словом, как ребенок, который учится говорить, на первом этапе. Далее — решение задач классификации, пересказа и других заданий на понимание мира, подобно тем, что выполняют дети в ясельных группах. Более того, на этапе обучения LLM впитывает знания по техническим и гуманитарным наукам, как это делает школьник. На всех этапах модель проходит тестовые экзамены, благодаря чему специалисты по разработке нейронных сетей проверяют качество их работы.

Как можно обрисовать область применения генеративного ИИ на основе его резюме? Во-первых, большие языковые модели отлично должны уметь решать задачи генерации текстов: суммаризация, перефразирование, ответы на вопросы по общим доменам знаний, перевод на другой язык. Во-вторых, они будут отлично решать задачи классификации, выделения сущностей особенно в тех областях знаний, на которых обучались. В-третьих, мы можем ожидать качественного решения задач на уровне обывателя в предметных областях, на которых они специально не обучались.

Однако генеративный ИИ без дообучения проиграет «дедовским» классам моделей в узкопрофильных задачах, если в них накопилось большое количество обучающих данных. По традиции посмотрим на вопрос через призму аналогий в работе естественного интеллекта. Какими бы вы умными и начитанными ни были (что прямо характеризует LLM на данный момент), решать новые и сложные задачи вы предпочтете силами специалистов в предметной области: операцию доверите хирургу, проектирование здания — архитектору, разработку плана межпланетных полетов — астрофизику. В этих примерах общими являются ваш запрос как заказчика на максимально возможное качество, с одной стороны, и с другой — необходимость в экспертизе, которая формировалась исторически продолжительный период времени, и ей невозможно быстро обучиться без специализированной литературы или практических занятий с экспертами. Последнее нам говорит о важном ограничении применения «дедовских» методов: требуются «деды»-специалисты по разработке нейронных сетей, дата-сайентисты или ML-инженеры.

Получается, что если у вас нет узкопрофильных задач, вы не планируете нанимать «дедов», то LLM может стать подходящим для вас решением. Однако в применении больших языковых моделей лежит большой подводный экономический камень, который может раздавить ваш проект по применению ИИ. Дело в том, что когда вы используете мегамозг (LLM) для решения простых задач, то вы тратите большое количество вычислительных мощностей. Оплату последних нужно заложить в бюджет проекта, а также учесть скорость ответов мегамозга в вашем бизнес-процессе. Может так случиться, что затраты на применение LLM будут больше, чем выгода от его применения, или быстродействия не хватит для вашего бизнес-процесса. На практике стоимость вычисления LLM оказывается в 100-1000 раз дороже по сравнению с прежними классами моделей. В таком случае можно прибегнуть к команде «дедов», если издержки на ее содержание впишутся в ваш проект.

Таким образом, в первую очередь нужно рассчитать выгоду от внедрения автоматического принятия решений на основе данных. Далее, если в вашей компании нет команды дата-сайентистов, то рассчитать трудозатраты на применения LLM и уже внедрять, если экономика сходится. В противном случае любые задачи, где требуются узкопрофильные данные, нужно делегировать «дедам». В случае появления задач, которые LLM может хорошо решать, стоит начинать с ее применения, чтобы как можно быстрее проверить бизнес-гипотезу. Далее после подтверждения гипотез повышать эффективность моделей за счет подключения профильных специалистов, которые либо повысят их качество работы, либо сократят стоимость применения и время их исполнения.

Источник: vk.com

Комментарии: