Что на самом деле моделируют LLM?

В мае Сэм Альтман, генеральный директор OpenAI стоимостью около 80 миллиардов долларов, казалось, не беспокоился о том, сколько будет стоить достижение заявленной цели компании. "Сжигаем ли мы 500 миллионов долларов в год, или 5 миллиардов, или 50 миллиардов долларов в год – мне все равно", – сказал он студентам Стэнфордского университета. "Пока мы можем находить способ оплачивать счета, мы создаем искусственный общий интеллект. Это будет дорого стоить ".

Подобные заявления стали обычным явлением среди технологических лидеров, которые изо всех сил стараются максимизировать свои инвестиции в большие языковые модели (LLM). Microsoft вложила в OpenAI 10 миллиардов долларов, у Google и Meta есть свои собственные модели, а корпоративные вендоры массово внедряют LLM в продукты. Однако Gartner считает, что GenAI приближается к пику цикла ажиотажа, поэтому пришло время изучить, что на самом деле моделируют LLM, а что нет.

На фоне "гиперболических заявлений" о том, что LLM способны "понимать язык" и приближаются к общему искусственному интеллекту (AGI), индустрия GenAI – прогнозируемая стоимость которой составит 1,3 триллиона долларов в течение следующих десяти лет – часто склонна злоупотреблять терминами, которые естественным образом применяются к людям.

"Ошибочно принимать впечатляющие инженерные достижения LLM за овладение человеческим языком, понимание языка и лингвистические действия, что имеет серьезные последствия для различных форм социального участия, человеческой активности, правосудия и политики, окружающей их", - утверждается в статье, опубликованной в рецензируемом журнале Language Sciences.

Индустрия искусственного интеллекта и связанные с ней партнеры провели последние несколько лет, заискивая перед политическими лидерами. В прошлом году вице-президент США и кандидат в президенты от Демократической партии Камала Харрис встретилась с руководителями четырех американских компаний, находящихся на "переднем крае инноваций в области искусственного интеллекта", включая Альтмана и Сатью Наделлу, генерального директора Microsoft. В то же время, бывший премьер-министр Великобритании Риши Сунак провел саммит по безопасности искусственного интеллекта, который включал в себя льстивое интервью лидера консерваторов с Илоном Маском, техническим директором, который предсказал, что ИИ будет умнее людей к 2026 году.

LLM создают модель, способную реагировать на естественный язык, поглощая большой объем обучающих данных, часто из Всемирной паутины. Оставляя в стороне юридические вопросы о том, какая часть этих данных защищена авторским правом, этот метод включает распыление письменного языка на токены, а затем использование мощных статистических методов – и больших вычислительных мощностей – для прогнозирования взаимосвязи между этими токенами, например, в ответе на вопрос. Но в этом подходе есть пара неявных допущений.

"Первое – это то, что мы называем предположением о полноте языка - что существует "вещь", называемая "языком", которая является полной, стабильной, поддающейся количественной оценке и доступной для извлечения из следов в окружающей среде", - говорится в документе. "Тогда инженерная проблема сводится к тому, как эту "штуку" можно воспроизвести искусственно. Второе предположение – это предположение о полноте данных, то есть о том, что все существенные характеристики могут быть представлены в наборах данных, которые используются для инициализации и "обучения" рассматриваемой модели. Другими словами, предполагается, что все существенные характеристики использования языка присутствуют в отношениях между токенами, что, предположительно, позволило бы LLM эффективно и всесторонне воспроизводить моделируемую "вещь"."

Проблема в том, что одна из наиболее современных ветвей когнитивной науки рассматривает язык как поведение, а не как большую кучу текста. Другими словами, язык - это то, что мы делаем, и делали на протяжении сотен тысяч лет.

Тон голоса, жест, зрительный контакт, эмоциональный контекст, мимика, прикосновения, местоположение и обстановка входят в число факторов, влияющих на сказанное или написанное.

Языковое поведение "не может быть полностью отражено в представлениях, подходящих для автоматизации и вычислительной обработки. Письменный язык представляет собой лишь часть языковой деятельности человека", - говорится в документе.

Источник: www.theregister.com

Комментарии: