Цепи Маркова смешнее LLM

Предсказуемость машин и личности

Прежде чем объяснять какой-либо из этих терминов, давайте попробуем установить это анекдотически.

12:2 И проведу перед тобою всю доброту мою, и грехи наши будут на нас за то, что мы злоупотребляем и шепелявляем.

И

Вначале было лямбда-выражение, лямбда-выражение было со схемой, а лямбда-выражение было схемой.

Один из них — результат цепи Маркова, обученной на наборе данных Библии короля Иакова и учебника по информатике. Другой — ChatGPT 3.5 с инструкциями по формированию аналогичного вывода.

Эти два примера выбраны довольно тщательно, но за каждый из них была проведена честная борьба. Я старался выбрать лучшего кандидата с обеих сторон. Можете ли вы сказать, какой из них был каким?

У вас есть хороший шанс угадать правильно. Предложение с необычной семантикой — это цепь Маркова. Это почти имеет смысл, но поворачивает направо и превращается в тарабарщину, прежде чем вы дойдете до конца предложения.

Второе предложение — Chat GPT.

Моя цель в этой статье — убедить вас, что юмор измерим и что цепи Маркова забавны. Для этого мне нужно будет определить и цепи Маркова, и сам юмор. Начнем с более простого.

# Что такое цепь Маркова

Когда LLM впервые появились на сцене, люди описывали их как очень умную цепь Маркова. В наши дни люди больше знакомы с LLM, чем с цепями Маркова, поэтому я опишу цепь Маркова как очень глупую LLM.

Если раньше не было понятно, ChatGPT — это своего рода LLM — большая языковая модель. У нас есть очень большие LLM (более 300 ГБ) и гораздо меньшие (менее 10 ГБ), но их нельзя назвать «маленькой языковой моделью» — это всего лишь небольшой LLM.

Цепи Маркова можно назвать очень-очень маленькой, очень простой и очень наивной LLM.

Как и LLM, он предсказывает следующее слово на основе текущего контекста. Однако он не учитывает семантику, размерность и целый ряд другой специализированной векторной математики. Это действительно примитивная статистическая модель.

Вы когда-нибудь использовали «предложения следующего слова» в верхней части клавиатуры вашего телефона? Обычно это строится с использованием цепи Маркова. Его эксплуатация дешева, и его можно легко обновить, добавив предложения, более общие для вашего собственного стиля текстовых сообщений.

Я мог бы более подробно рассказать о том, как работают и LLM, и цепи Маркова, но мне нужно, чтобы вы знали только одно: цепи Маркова хуже выполняют работу, для которой используются LLM. Если вы попросите его сгенерировать предложение с определенной целью, LLM часто превосходит цепь Маркова.

Но точность — это не то, что делает что-то смешным.

# Что смешного

Это моя странная одержимость. Я много раз об этом писал, так что подведу итог: юмор – это несерьезное удивление.

Лучшие шутки предполагают приятную и значимую «щелку». Я использую «привязку» вместо «изюминки», чтобы избежать семантического багажа. Щелчок – это хлыстовая травма, полученная от неожиданности. Чем меньше сюрпризов, тем меньше смешно.

Вот почему шутки, которые вы слышали много раз, становятся менее смешными. Вот почему «случайный» юмор кажется лишенным юмора — хотя точные слова непредсказуемы, ожидание непредсказуемости предсказуемо. Если вы действительно ожидаете неожиданного, вы, вероятно, не будете смеяться.

Вы можете усилить привязку, повторно используя общие шаблоны с предсказуемыми окончаниями и нарушая ожидания пользователя. Например, сочетание слов «банан, яблоко, апельсин, непредумышленное убийство в автомобиле» создает образец фрукта, состоящего из одного слова, и нарушает ожидания преступления.

Написание шуток в основном связано с нарушением шаблона.

Привязка также усиливается за счет «реализации сцены». Если вы используете более оригинальный или описательный язык, вы можете сделать сцену более реальной. Вместо «в него стреляли» можно сказать «его пронзило 35-мм калибром». Вместо «он упал», возможно, «его лицо коснулось земли».

Вы также можете попробовать начать с середины сцены. Представление о том, что произошло раньше, также поможет в осознании. Например: «торт-писсуар? Я не поведусь на это снова» подразумевает сцену, которую мы должны представить, увеличивая ее реализацию.

Вы заметите множество параллелей между хорошим написанием шуток и хорошим письмом в целом. Оба типа авторов преследуют схожие цели. Использование клише — это пустая трата слов, потому что вы оставляете свои сцены нереализованными .

Мы называем юмор субъективным, потому что то, что можно назвать «несерьезным удивлением», не является универсальным. Грубый юмор может быть и не смешным, потому что он не несерьёзен; это богохульство! Или это может быть не смешно, потому что это не сюрприз; это ожидаемо.

Антишутки смешны только в том случае, если сама структура шутки предсказуема. На абсурдизм приходится покупаться. Вы можете нарушать культурные нормы, но нарушение должно быть хорошо понято и несерьезно.

Будучи одноязычным американцем, мне все же удавалось (удачно) шутить в очень неанглийской среде, используя слово «нет» способами, которые были неожиданными с культурной точки зрения. Я несерьезно отказывался от некоторых подарков.

Шутки разнообразные и юмор предметный. Тем не менее, в конце концов, это несерьезный сюрприз.

# Предсказуемость программ LLM

Чтобы успешно предсказать предложение, вам нужно много контекста. Большие языковые модели имеют много контекста. Они выполняют массу причудливых математических вычислений и находят наиболее вероятный следующий токен. «Лучший» LLM обязательно будет более предсказуемым, если его корпус представляет собой осмысленную речь.

Это делает степень магистра права действительно плохим выбором для творческого письма. Без тонны «быстрого проектирования» на самом деле довольно легко определить, был ли какой-то абзац сгенерирован LLM. Звучит бездушно. Это самая посредственная вещь, которую вы могли бы создать, учитывая контекст.

Спрашивать у магистратуры о «оригинальной мысли» — это почти оксюморон, если не просто идиотизм. Он был построен с явной целью не делать этого.

Чтобы вызвать шутку, степень магистра права должна быть неожиданной. Потребуется использовать общепринятый оборот фраз и изменить их смысл необычным образом. Хорошие LLM этого не делают.

Я слышал, как люди утверждали, что комедию нельзя создать с помощью алгоритма. Если это не было очевидно, то я с этим не согласен. Я думаю, комедию можно анализировать и измерять. Я думаю, что при наличии достаточно большого гранта мы, вероятно, могли бы создавать комедии по запросу. Я думаю, что это выполнимо, но не то, чтобы мы должны это делать.

Программы LLM, которые мы имеем сегодня, просто неподходящий инструмент для этой задачи.

LLM были самыми забавными на самых ранних этапах. Генерация изображений здесь тоже была самой забавной. Помните те изображения со «следовой камеры», которые мы получили от Dall-e mini ? По мере того, как наши системы становились лучше, юмор терялся.

Действительно хорошая машина предсказуемости не очень полезна в художественном выражении. Конечно, от него еще много пользы, но это не идеальный инструмент для работы. Магистр права часто упускает из виду интересные концепции, которые ребенок может легко предложить.

Я открыт для идеи, что, используя эту структуру, мы, вероятно, сможем построить своего рода языковую модель, которая примет во внимание эту задачу. Просто это должно было бы категорически отличаться от тех видов LLM, которые мы имеем сегодня. Это было бы настолько по-другому, что мы, вероятно, не стали бы называть это LLM.

# Почему это интересно

Это странная вещь, которой можно увлекаться. Это очевидная правда, но я думаю, что это говорит о чем-то более глубоком.

Опять же, я не привожу аргумент в пользу противостояния духовного человека и машины. Это просто недостаток, который вы будете видеть снова и снова при взаимодействии с этими моделями, независимо от того, насколько продвинутыми они кажутся. Это дырявая абстракция, обнажающая свою внутреннюю архитектуру, хотя она хотела замаскироваться под антропоморфизм.

Вот почему каждое сообщение ChatGPT читается как школьное сочинение. Он взял самый средний результат и воспроизвел его. Его лишили индивидуальности и закалили схоластической строгостью. Это банальный корпоративный разговор.

В наши дни легко обнаружить фальшивые обзоры на Amazon, думая: «Напишу ли я когда-нибудь что-нибудь подобное?». Не могли бы вы добавить вступление и заключение к своему опыту использования салфеток для посуды Oxiclean? Хотели бы вы поблагодарить производителей и отметить их преданность обслуживанию клиентов?

Наши модели обнаружения LLM, такие как экранная капча, вскоре должны начать проверку личности.

Источник: emnudge.dev

Комментарии: