Когда несколько моделей получают почти максимальные баллы на одном бенчмарке, итоговая оценка хуже показывает разницу между ними. В препринте версии от 14 октября 2026 года исследователи предлагают анализировать не только правильность ответа, но и стенограммы решений. В их ретроспективном исследовании попарное оценивание таких стенограмм снизило ошибку прогноза в 5,3 раза по сравнению с базовым подходом, использовавшим только баллы насыщенного бенчмарка.
Препринт на arXiv описывает проверку на исторических выпусках бенчмарков и моделей. Авторы имитировали насыщение: брали стенограммы только правильно решённых заданий на уже «исчерпанном» тесте и проверяли, позволяют ли они предсказывать способности на отложенных заданиях, где бенчмарк ещё не достиг насыщения.
Что добавляет стенограмма к баллу
Агрегированный балл показывает, сколько заданий модель решила, но не описывает ход этих решений. Стенограмма может содержать дополнительные признаки работы модели даже тогда, когда итоговый ответ уже засчитан как правильный. Авторы сообщают, что такой сигнал распределён по разным частям стенограммы, но заметнее проявляется в отдельных каналах, включая рассуждения и вызовы инструментов.
Какие способы сравнили авторы
В исследовании сопоставлены несколько протоколов: попарное оценивание двух стенограмм, абсолютная оценка каждой стенограммы отдельно, а также прогнозы по заранее заданным текстовым признакам и эмбеддингам. Лучшим среди проверенных вариантов оказалось попарное оценивание.
Показатель 5,3 раза означает уменьшение ошибки прогноза относительно базового метода, который использовал только баллы насыщенного бенчмарка. Это не прирост точности на 5,3 процентного пункта и не результат независимого тестирования.
Где метод может ошибаться
Авторы проверяли подход ретроспективно на исторических данных, поэтому его результат не равнозначен гарантии для новых моделей. При сдвиге распределения прогнозы переносились не всегда: например, методы недооценивали возможности первых моделей с рассуждением, появившихся в начале 2025 года. В доступном препринте не приведена независимая проверка этого результата.
Для читателя вывод практический: почти максимальный балл на старом тесте не обязательно исчерпывает информацию о модели, но стенограммы не превращают насыщенный бенчмарк в универсальный измеритель. Их анализ может добавить различительные признаки только при проверке того, как метод ведёт себя на новых типах моделей и заданий.
