Стэнфордский университет (США) опубликовал результаты исследования, в котором изучил ответы генеративных систем искусственного интеллекта на юридические вопросы. Ученые указывают, что в 69–88% случаях площадки неверно отвечают на вопросы о судебной практике и конкретных кейсах. ChatGPT модели GPT-3.5 от OpenAI ошибся в 69% случаев. Программа PaLM2 от Google давала неверные ответы на 72% вопросов, а Llama2 от Meta — 88%.
Особое затруднение у нейросетей вызывало прецедентное право в судах низшей инстанции, например в окружных. Исследователи отметили, что на сложные вопросы, требующие владения терминологией и юртехникой, ИИ также чаще отвечал неправильно. Например, не мог рассказать о превосходстве одного прецедента над другим. В университете делают вывод, что искусственный интеллект еще не способен проводить юридический анализ ситуации, которым оперируют в работе адвокаты. При этом нейросети продолжали генерировать недостоверный контент, убеждая пользователя в собственной компетентности.
Еще одним недостатком технологий ИИ стало то, что программы могут делать ошибочные выводы из изначально некорректного запроса пользователя. Если фактическая ошибка содержалась в вопросе клиента, то нейросети не исправляли ее, а продолжали неверную цепочку рассуждений.
Исследователи резюмируют, что интеграция технологий искусственного интеллекта в юридическую практику должна вестись под тщательным контролем человека.