Что случилось
На arXiv (раздел cs.CL) опубликован препринт 2608.02621, в котором авторы проверяют, можно ли считать правильность финального ответа LLM прокси для корректности правовой аргументации. В обычных условиях, без просьбы указывать статьи закона, четыре модели спонтанно генерировали отсылки к правовым нормам в 238 вопросах адвокатского экзамена Тайваня. Для каждого вопроса есть подтверждённая эталонная норма, поэтому ответ и ссылку можно проверять автоматически.
Почему это обсуждают
Стандартные юридические бенчмарки оценивают только финальный ответ. Если модель отвечает верно, но ссылается не на ту норму, это засчитывается как полный успех. Исследование показывает, что такое расхождение возникает само по себе, без провокационных промптов. В уголовном праве 24,0–42,4% валидных ответов были верными по сути, но не содержали эталонной нормы, а 15,2–21,7% содержали верную норму при неверном ответе. Отдельный retrieval-пробинг и эксперимент с разрешённым отказом от цитирования показывают, что поведение ответа и цитаты можно менять независимо.
Что подтверждено, что нет
Подтверждено: расхождение воспроизводится на четырёх моделях, в обе стороны, на тайваньских данных. Ссылки появляются спонтанно, без указания в промпте. Пока неясно, насколько картина переносится на другие юрисдикции. Предварительное расширение на гражданское право КНР тоже фиксирует спонтанные отсылки к нормам, но полный кросс-юрисдикционный аудит ещё предстоит.
Куда смотреть дальше
Авторы предлагают совместную оценку ответа и правовой основы (joint answer–authority evaluation) для бенчмарков, опирающихся на статуты. Практикам, которые строят юридические RAG-системы и агентов с цитированием, стоит проверять не только итоговый скоринг.
| Punkt | Detail |
|---|---|
| Платформа | arXiv, cs.CL |
| Дата публикации | 2026-08-05 |
| Выборка | 238 вопросов экзамена Тайваня |
| Модели | 4 LLM |
| Ключевые цифры | 24,0–42,4% верный ответ без нормы; 15,2–21,7% норма при неверном ответе |