Галлюцинирующий закон: юридические ошибки в больших языковых моделях широко распространены

Галлюцинации от успехов

Ознакомился с исследованием Стэнфордского университета (https://hai.stanford.edu/news/hallucinating-law-legal-mistakes-large-language-models-are-pervasive), где сотрудники вуза протестировали более 200 000 юридических вопросов в ChatGPT 3.5 от OpenAI, PaLM 2 от Google и Llama 2 от Meta и выявили много интересного. В России были публичные дискуссии о потенциальном использовании нейросетей в правосудии, однако, никто не занимался эмпирикой, до практико-ориентированных исследований дело не доходило ни у одного из "цифровых" юристов, поэтому их общие фразы были скорее догадками, здесь же большие данные, а потому и выводы конкретные сформулированы. Выводы суть следующие:

1. Во-первых, они обнаружили, что "производительность нейросетей ухудшается при решении более сложных задач, требующих тонкого понимания юридических вопросов или толкования юридических текстов". Действительно, нейросети пока не готовы юриспрудировать, они выдают ответы, содержащиеся в подгруженных источниках, для того, чтобы давать ответы надо не только знать законы, доктрину, понимать, какие ценности отражены в той или иной норме, но ещё и быть способным обойти закон, предложить иное решение ситуации. Простой пример: нейросеть по умолчанию предлагает судебный способ защиты, но есть ещё и административный.

2. Во-вторых, прецедентное право судов низшей инстанции подвержено более частым галлюцинациям нейросетей, чем прецедентное право судов высшей инстанции. По мнению исследователей "это говорит о том, что нейросети могут испытывать трудности с локальными юридическими знаниями, которые часто имеют решающее значение в делах судов низшей инстанции, и ставит под сомнение утверждения о том, что нейросети уменьшат давние барьеры доступа к правосудию в Соединенных Штатах". Абсолютно верно, если каких-то решений нет онлайн, то их будут игнорировать.

Более того, из-за того, что в низовых судах огромное количество дел, их просто очень сложно проанализировать все и выявить закономерности. Позиций высших судов намного меньше, но проблема в части России, например, состоит в том, что Верховный суд прекратил формулировать правовые позиции, как это делал ВАС РФ в периодических обзорах. Если же говорить о КС, то там ещё лучше, на протяжении всего документа несвязный текст, а в конце некий вывод, как мы решили это дело. На этом невозможно учить нейросети, поскольку такие тексты нередко лишены логики. И тогда нейросети будут миксовать те тексты, что у них есть, пытаясь попасть пальцем в небо.

3. В-третьих, нейросети "демонстрируют тенденцию лучше справляться с более важными делами, особенно с делами, рассмотренными в Верховном суде. Аналогичным образом, показатели лучше всего во влиятельных Втором и Девятом округах, но хуже всего в окружных судах, расположенных в географическом центре страны. Эти различия в производительности могут быть вызваны тем, что определенные случаи чаще упоминаются и обсуждаются".

Да, по большому счёту будет выигрывать та позиция, которая прозвучала громче. Такой подход будет означать торжество популизма, а не рассудка. Приведём простой пример, в нашей стране мало кто согласен с грядущей блокировкой YouTube, но провластные газетёнки и решения официальных органов власти говорят о том, как же это хорошо и что россиян перестанут дискриминировать, такое решение правильное и т.д. Нейросеть, анализируя подобный шум, будет выдавать по схожим вопросам ответ, что блокировки - это не цензура, а защита прав, ибо так якобы считает большинство.

4. В-четвёртых, "галлюцинации наиболее распространены среди самых старых и новейших дел Верховного суда и наименее распространены среди дел более позднего 20-го века. Это говорит о том, что пиковые показатели нейросетей могут отставать на несколько лет от текущей правовой доктрины и что они могут не усвоить прецедентное право, которое является очень старым, но все ещё применимым и релевантным". Именно так, поскольку старые решения не оцифрованы, если они оцифрованы, то они написаны на старом английском, нейросеть его хуже понимает. Более того, нужно сознавать, что для того, чтобы отрефлексировать ту или иную позицию нужно время, нужно посмотреть как она сработала в обществе. Ведь нередко мы понимаем, что решение было неправильным лишь спустя время, в том числе и потому, что общество развивается и вместе с тем развиваются его ценности и потребности. Также ясно, что решения, вынесенные раньше, обладают большим консерватизмом, а в некоторых странах, например, постсоветских, они ещё и могли быть вынесены в советский период, когда господствовали вообще другие экономические отношения.

В том числе, в исследовании отмечено, что разные нейросети дают разную точность и предвзятость, так, "GPT 3.5 в целом превосходит другие, но демонстрирует определённые наклонности, например, отдаёт предпочтение известным судьям или конкретным типам дел. Например, отвечая на вопрос, кто автор мнения, GPT 3.5 склонен думать, что судья Джозеф Стори написал гораздо больше мнений, чем на самом деле". Т.е. получатся приписки цитат, решений тем судьям, кто думал иначе или вообще на эту тему не рассуждал. И если это не заметят, то постепенно начнёт существовать миф, а подхваченный другими нейросетями, он превратится в факт. Также напрямую здесь скажется медийность судей. Если один ведёт блог, то нейросеть может подгрузить в ответ мнение судьи из его блога, а он его ни в одном решении на самом деле не отразил.

В общем, ключевой вывод команды исследователей состоит в том, что нейросети не демократизируют доступ к правосудию и не устраняют неравенство, а представляют дополнительные опасности, с чем я склонен согласиться. Председатель ВС США Робертс в своём ежегодном докладе о правосудии отметил: "Тем, кто не может позволить себе нанять адвоката, может помочь искусственный интеллект". Однако, как мы видим, утверждение Робертса несостоятельно, ибо оно делит общество на тех, кто получит юридическую консультацию и тех, кто получит юридическую галлюцинацию. Понятно, что выпускник среднего юридического вуза-пту фонтанирует примерно тою же субстанцией, однако, его пыл умеряют коллеги и повседневный контакт с реальностью, поэтому он и галлюцинации ловит/выдаёт реже. Так что даже средненькие юристы ещё лет десять смогут зарабатывать себе на хлеб, а вот дальше - уже нет.

Автор:Константин Киктенко, телеграм канал "Апостол права"

Источник: hai.stanford.edu

Комментарии: