Bradley–Terry сводит оценку каждой модели к одному баллу и задаёт шансы победы через разницу баллов. Авторы препринта от 13 октября 2026 года утверждают, что при сравнении близких моделей в голосах Chatbot Arena есть дополнительная решительность, которую эта схема не описывает.
Выбор метода зависит от вопроса. Bradley–Terry подходит как базовая модель общего рейтинга. Поправка авторов добавляет учёт родства моделей и, согласно их анализу, прежде всего улучшает моделирование ничьих. Трёхвариантный эксперимент с судьями-моделями исследует распределение голосов между ответами в отдельной постановке — это не замена рейтингу человеческих предпочтений.
Что именно сравнивают авторы
В анализе рассматриваются 1,8 млн голосов Chatbot Arena. Авторы сообщают, что сравнения версий одной модели были в 1,37 раза решительнее, чем предсказывает Bradley–Terry; для моделей разных размеров одной генерации показатель составил 1,26, а для моделей одной лаборатории — 1,12. Это множители отклонения от предсказания модели, а не оценки того, насколько одна версия лучше другой.
По анализу авторов, после применения предложенной поправки порядок моделей в лидерборде меняется мало. Поэтому обнаруженное расхождение не следует трактовать как доказательство того, что весь рейтинг неверен: оно касается того, как модель описывает голоса в сравнениях близких вариантов.
Три подхода: что выбрать
| Подход | Что оценивает | Когда уместен | Ограничение |
|---|---|---|---|
| Bradley–Terry | Шансы победы моделей по разнице их баллов | Как базовая схема для общего рейтинга | Не учитывает отдельно близость сравниваемых моделей и может хуже описывать ничьи в таких парах |
| Поправка авторов | Голоса с дополнительным учётом родства моделей | Когда важно моделировать ничьи между родственными версиями | Поправка с четырьмя–шестью параметрами лучше предсказывала отложенные голоса, но при переносе на новые выпуски улучшение прямых шансов победы не установлено |
| Трёхвариантный тест с судьями-моделями | Выбор между близкими ответами и третьим вариантом | Для отдельного эксперимента о распределении выборов между вариантами | Не является общим рейтингом и не устанавливает универсальные предпочтения людей |
Поправка авторов с четырьмя–шестью параметрами предсказывала отложенные голоса лучше Bradley–Terry и проверенных моделей с сотнями параметров; основная часть выигрыша приходилась на моделирование ничьих. В тесте переноса на новые выпуски улучшение также было сосредоточено на ничьих. Авторы не установили улучшения предсказания прямых шансов победы.
Когда применять каждый метод
Нужен общий базовый рейтинг. Начните с Bradley–Terry, если требуется единая шкала и важны шансы победы, рассчитанные по баллам. Если в данных много сравнений близких версий, отдельно проверяйте, достаточно ли эта схема описывает ничьи: именно здесь авторы обнаружили расхождение.
Важны ничьи между родственными моделями. Рассмотрите поправку авторов как дополнительный анализ. Она показала преимущество на отложенных голосах, но не дала установленного улучшения прямых шансов победы при переносе на новые выпуски. Не следует переносить её результат на другие наборы данных без проверки.
Изучается поведение судей-моделей. Трёхвариантное меню отвечает на отдельный экспериментальный вопрос. При объединении ответов по разным промптам близкая копия получала голоса преимущественно за счёт своего близнеца. Внутри одного промпта сдвиг был меньше и отчётливо наблюдался у двух из четырёх судей. Это результат эксперимента с судьями-моделями, а не вывод о человеческих предпочтениях в целом.
Границы выводов
Результаты основаны на анализе авторов препринта; независимого воспроизведения и независимых тестов в предоставленных материалах нет. Выводы о поправке относятся к анализу голосов Arena и проверкам, описанным в работе. Они не подтверждают автоматически её преимущество для других задач и наборов данных.
Авторы также отмечают, что их данные не доказывают аналогичную проблему в reward-моделях, оценивающих ответ с учётом промпта. Поэтому выбор между тремя подходами следует делать по задаче: построение базового рейтинга, моделирование ничьих между близкими моделями или эксперимент с судьями-моделями.
Источник: препринт «Similar Models, Broken Odds: Where Luce’s Axiom Fails in Chatbot Arena» на arXiv.
