О прикладном использовании больших языковых моделей

Сразу к делу – есть ли положительный опыт интеграции в научно-исследовательские проекты в области экономики и финансов? Нет, ни одна модель не функциональна, ничего не работает.

Есть две критические и пока неразрешимые проблемы на архитектурном уровне самих моделей ГИИ.

Первое – нет вшитого контроля верификации выходных данных и корректности интерпретации. Другими словами, ГИИ не способен оценивать корректности и адекватность сгенерированного контента, нет встроенного критерия истинности.

Современные модели ГИИ не обладают критическим мышлением и верификатором результатов, что в контексте работы LLM означает: выявление логических связей и противоречий, оценка аргументов и доказательств, анализ данных и источников, адаптация выходного результата в контекст условий.

Доступные на сегодняшний день LLM:

• Не проверяют достоверность источников информации и не различают надежные данные от ненадежных.
• Не способны самостоятельно выявлять логические ошибки или противоречия в своих ответах.
• Не могут критически оценивать представленные аргументы и доказательства.
• Не могут адекватно адаптировать свои ответы к специфическим условиям или контексту задачи.

LLM обучаются на сверх больших массивах данных, изначальная достоверность которых под сомнением, и в этом наборе информационного мусора происходит компрессия данных и определение весов.

Те данные, на которых были обучены LLM изначально могут содержать ошибки, предвзятость и недостоверную информацию, а следовательно обучение часто строиться на ложных сведениях.

В некотором смысле веса в больших языковых моделях (LLM) определяют иерархию интерпретации информации, позволяя модели распознавать иерархические и контекстуальные зависимости в данных. Иначе говоря, веса определяют меру связанности информационных блоков, как одна часть информации влияет на другую часть информации.

Что это означает на практике? LLM крайне неэффективны в разработке инновационных смысловых конструкций и интерпретации изначально противоречивой информации, производя сложные многоуровневые оценки факторов, обстоятельств и зависимостей.

ГИИ могут быть эффективны в интерпретации общепризнанных наиболее популярных фактов регулярного характера, но не способы выстраивать иерархию приоритетов и многоуровневую композицию факторов риска в неоднозначном и неструктурированном наборе данных, вектор распределения которых не прогнозируем.

Следовательно, сложная аналитика процессов и событий не подвластна ГИИ, поэтому в ГИИ нет интеллекта в широком понимании. Это высоко эрудированная система, которая достаточно тупа в понимании связей и зависимостей сложных систем, а социология, психология, политология, экономика – это как раз те области, где нет жесткой структуризации данных и нет однозначности в интерпретации.

Можно формализовать математику или физику (здесь ГИИ в перспективе 3-5 лет может добиться успехов), но нельзя формализовать мотивы и действия социума, поэтому ГИИ не может управлять бизнес-процессами, не может прогнозировать и оценивать все те области, где задействован человек (финансы, экономика, социология, политика и т.д.).

К чему это приводит? ГИИ генерируют огромное количество контента, который на прикладных задачах практически невозможно применять из-за отсутствия достоверности.

В идеале система должна работать, как низко уровневая программа в процессоре, где повторение опытов всегда дает один и тот же результат – есть однозначность и прогнозируемость. В ГИИ слишком широкий диапазон допусков.

В итоге время и ресурсы на проверку результатов работы ГИИ превосходят любую потенциальную выгоду. Проще говоря, ГИИ слишком завораживающее фейкометят, чтобы использовать их в серьезных исследованиях и бизнес-процессах.

Низкая достоверность выходного контента вшита на уровне архитектуры LLM, поэтому проблема неисправима ни сейчас, ни в ближайшем будущем.

Вторая проблема – необучаемость и ограниченная длина контекстного окна. #Эта тема требует отдельного обзора.

Отсутствие встроенного контроля верификации выходных данных не позволяет использовать ГИИ для серьёзных научно-исследовательских работ и в рамках бизнес-операций. По умолчанию, любой сгенерированный контент от ГИИ рассматривается как фейковый, а следовательно, нет доверия к системе.

Время и ресурсы, затраченные на принудительную проверку фактов, превышают потенциальную выгоду от использования ГИИ в серьёзных задачах, которые оказывают влияние на систему принятия решений.

Вторая проблема — необучаемость и ограниченная длина контекстного окна*.

Как это проявляется на практике?

*Контекстное окно обозначает максимальное количество токенов, которые модель может учитывать одновременно при обработке текста; грубо говоря, это глубина памяти ГИИ в рамках открытой сессии.

Не слишком сложная база данных с иерархической структурой данных требует примерно 6-7 страниц технического задания с описанием структуры данных, параметров, связей и постановки задач для анализа данных. Написание 6-7 страниц строго формализованного текста — большая работа на три часа.

Изначально ГИИ никогда не генерирует корректного результата, если постановка задачи предполагает глубину аналитики с множеством связанных переменных.

Соответственно, требуется доводка и калибровка способности ГИИ корректно интерпретировать базу данных и понимать поставленную задачу. Это ещё работа на три часа.

В итоге 6-7 часов уходит просто на то, чтобы попытаться обучить ГИИ адекватно интерпретировать структуру данных и понимать цель анализа. К этому моменту ширина контекстного окна заканчивается, но даже если удастся уложиться, происходит баг системы, который я назвал «ментальный сквиз».

В чём проявляется «ментальный сквиз»?

Чем сложнее задача и чем больше количество правок вносится в интерпретатор ГИИ, тем быстрее наступает момент «глубоких галлюцинаций», когда модель полностью теряет способность к пониманию и начинает путаться в показаниях.

По мере правок качество выходного контента растёт, а потом наступает «ментальный сквиз», и качество резко обрушается, что означает — модель сломалась, несите новую, т.е. требуется новая открытая сессия и всё начинать сначала.

Связана ли эта проблема с программной составляющей или это внутренние архитектурные недостатки, однако правда в том, что разработка сложных проектов исключена полностью.

Те функции аналитики и анализа данных, которые демонстрируются в рекламных роликах ГИИ, показывают простейшие функции, которые реализуются штатным функционалом Excel за несколько секунд, тогда как написание запросов в ГИИ требует минут. Т.е. даже здесь эффективность под вопросом. Более сложные расчёты крайне неэффективны в рамках реализации через ГИИ — здесь сразу мимо.

Какая комбинация работает?

То, что работало раньше: Excel + SQL + Python и теперь ГИИ, но не в рамках аналитики, а с точки зрения справочного бюро по документации/инструкциям + помощь в написании кода и формул. Причём процесс написания кода также не так однозначен.

В практическом применении ГИИ (ChatGPT-4 как наиболее сбалансированном) абсолютно не тянет работу с данными. Data Science, data mining, data analytics — это не про ГИИ. Текущая оценка — около 2 из 10, т.е. совсем плохо, по крайней мере, в той публичной версии, как это всё представлено.

Все надстройки в Excel на базе ChatGPT, в том числе официальная от Microsoft — полная туфта. Выглядят многообещающе, но на практике с большим набором данных и многоуровневыми зависимостями не работают так, как должны.

Сводные таблицы и автоматический структурный анализ можно делать и имеющимися ресурсами без использования ГИИ.

ГИИ не улучшает работу в рамках дата аналитики, а скорее ухудшает с точки зрения качества данных и скорости работы. В рамках анализа данных Excel + SQL + Python решают задачи на порядки быстрее, чем хвалёный ГИИ. На данном этапе ГИИ в контексте научно-исследовательской базы близок к пустому месту.

Источник: porti.ru

Комментарии: