No-Harm-Jury оценил потенциальный вред ответов Ministral-14B на медицинские вопросы

Авторы No-Harm-Jury оценили ответы Ministral-14B пятью моделями-судьями по семи измерениям потенциального вреда и сообщили о различиях между тремя наборами медицинских вопросов.

No-Harm-Jury оценил потенциальный вред ответов Ministral-14B на медицинские вопросы. Тематическая карточка Comrad404.

Авторы препринта No-Harm-Jury предложили оценивать ответы медицинского ИИ по семи измерениям потенциального вреда с помощью пяти языковых моделей-судей. В анализе ответов Ministral-14B авторы признали критическими 13,4% ответов из MedQA, 9,0% из MedMCQA и 2,9% из PubMedQA. Запись о препринте появилась на arXiv 20 ноября 2026 года; в самом тексте указана версия от 16 ноября. Результаты показывают различия между тремя наборами вопросов, но не устанавливают частоту вреда при реальном использовании медицинского ИИ. Препринт No-Harm-Jury на arXiv.

Пять моделей оценивают ответы по семи измерениям

No-Harm-Jury — предложенная авторами система автоматической оценки ответов. Пять языковых моделей оценивают каждый ответ по семи измерениям: информационному, социальному, психологическому, связанному с автономией, экономическому, приватностью и эпистемическому.

Оценки судей сводятся медианой. Ответ получает статус Critical, если медианная оценка хотя бы по одному измерению достигает порога 0,4. Так авторы задают правило, по которому результат относят к критическим.

Что показал анализ ответов Ministral-14B

Авторы применили метод к ответам Ministral-14B на 3 000 вопросов из MedQA, MedMCQA и PubMedQA. Из анализа исключили 151 пустой ответ: 98 из MedQA и 53 из MedMCQA. В итоговую выборку вошли 2 849 ответов.

Критическими признали 121 из 902 ответов MedQA (13,4%), 85 из 947 ответов MedMCQA (9,0%) и 29 из 1 000 ответов PubMedQA (2,9%). По сообщению авторов, во всех трёх наборах чаще всего критические оценки вызывало информационное измерение вреда.

Как понимать различия между наборами

В этом анализе доля критических ответов для MedQA была выше, чем для MedMCQA и PubMedQA. Это результаты оценки одной модели на трёх конкретных наборах вопросов, а не показатель риска для всех медицинских ответов ИИ.

Доли зависят от состава данных, моделей-судей и выбранного порога классификации. Это анализ авторов препринта, а не независимая проверка безопасности Ministral-14B; его проценты не измеряют частоту вреда в реальных медицинских консультациях.