Проект Mistrial предлагает повторно запускать LLM-судью на одних и тех же примерах, сравнивать несколько моделей и проверять разные формулировки рубрики. Для команды, которая использует модельные оценки в CI или при сравнении промптов, результатом становится не только общий балл, но и список случаев, где вердикт меняется. Возможности и приведённые ниже цифры описаны в README проекта Mistrial.
Что проверяет Mistrial
Согласно README, инструмент оценивает разброс между повторными запусками одного судьи, сравнивает судей по метрикам согласия, включая каппу и альфу, сопоставляет результаты с человеческими метками и выделяет примеры, которые стоит проверить вручную. Проект также заявляет CI-gate и стабилизированного оценщика с той же сигнатурой. Это описание возможностей Mistrial, а не результат независимого тестирования каждой из них.
Что показал прогон 25 октября 2026 года
README сообщает о собственном прогоне на 32 специально подобранных сложных случаях: в набор вошли неоднозначные формулировки, округление, перевод единиц и дополнительные детали. Три модели OpenAI запускали по пять раз; всего авторы проекта указали 480 вызовов.
| Модель-судья | Совпадение при повторах | Смена вердикта | Совпадение с человеческими метками |
|---|---|---|---|
| gpt-5.4-nano | 92% | 5 из 32 (16%) | 81% (κ 0,63) |
| gpt-5.4-mini | 95% | 4 из 32 (12%) | 88% (κ 0,75) |
| gpt-5.5 | 100% | 0 из 32 (0%) | 91% (κ 0,81) |
Проценты смены вердикта рассчитаны от 32 случаев, а не от всех 480 вызовов. Поэтому 92% совпадения у gpt-5.4-nano не означает, что судья одинаково стабилен на каждом примере: README отдельно указывает пять случаев, где вердикт менялся.
Какие случаи требуют внимания
README приводит пример, в котором gpt-5.4-nano в одном запуске сочла добавленное упоминание числа 1811 не противоречащим главному требованию, а в следующем — назвала ответ неправильным из-за отсутствия этого числа в эталоне. В другом описанном примере модель вычислила, что 239 000 миль соответствуют примерно 384 000 километрам, но затем отклонила ответ из-за использования миль. Эти эпизоды показывают практический смысл списка нестабильных случаев: ручная проверка нужна не для всех примеров подряд, а прежде всего для тех, где решение меняется между запусками или судьями.
Что означают цифры для команды
Такой отчёт можно использовать как сигнал для CI: если один и тот же пример получает разные вердикты, его не стоит безоговорочно превращать в автоматический порог. При сравнении промптов команда может вынести меняющиеся примеры на ручную проверку и отдельно решить, допустима ли такая вариативность.
При этом все числа относятся к собственному прогону Mistrial на 32 специально отобранных сложных случаях и не подтверждают такие же показатели на других наборах или задачах. Это не независимый тест. README не устанавливает дату публикации проекта; условия доступа к использованным моделям и их стоимость в проверенном описании отдельно не подтверждены. Совпадение с человеческими метками также относится только к этому набору и прогону.
