DealRank, BlitzRank с последовательными чанками, BlitzRank с круговым распределением и sliding window отличаются задержкой, числом раундов и частотой дополнительных certification-вызовов. В эксперименте авторов на шести LLM DealRank показал медианную задержку 3,4 секунды и 2,0 раунда; круговой BlitzRank — 3,5 секунды и 2,1 раунда. Результаты и описание методов опубликованы в препринте «Deal With It: On Better Schedules for Listwise Reranking».
Как различаются схемы реранжирования
Listwise-реранжер просит языковую модель упорядочить сразу группу документов. Если кандидатов слишком много для одного вызова, расписание разбивает их на группы и сводит локальные результаты в общий порядок. В препринте сопоставлены DealRank, BlitzRank с последовательными чанками, BlitzRank с круговым распределением входных кандидатов и sliding window.
Распределение важно, потому что в каждой группе есть квота на кандидатов, проходящих дальше. Если сильные документы сосредоточены в одной группе, квота может отсечь часть перспективных результатов и потребовать дополнительного certification-вызова. Круговое распределение разносит кандидатов между группами; в описанном авторами примере каждая группа получает по четыре документа из первых двадцати.
Сравнение по одинаковым критериям
Все значения в таблице — результаты эксперимента авторов. Задержка указана как медианная, число раундов — как среднее. Доля repair-вызовов означает процент запросов, в которых понадобился certification-вызов; nDCG@10 усреднён по шести LLM.
| Вариант | Медианная задержка | Среднее число раундов | Запросы с repair-вызовом | nDCG@10 |
|---|---|---|---|---|
| DealRank | 3,4 с | 2,0 | Не указано | 57,4 |
| BlitzRank, последовательные чанки | 4,0 с | 2,6 | 59% | 57,5 |
| BlitzRank, круговое распределение | 3,5 с | 2,1 | 14% | 57,1 |
| Sliding window | 13,4 с | 9,0 | Не указано | 57,5 |
Знаменатель для 59% и 14% — запросы эксперимента: столько запросов соответствующего варианта потребовали certification-вызов. Это не доля repair-вызовов среди всех вызовов модели. Для DealRank и sliding window частота в показанном сравнении не указана, поэтому отсутствие числа нельзя трактовать как отсутствие таких вызовов.
Почему круговое распределение сокращает дополнительные вызовы
В примере авторов круговая раздача распределяет документы с высокими исходными рангами между группами: каждая получает по четыре из первых двадцати. При последовательном разбиении документы идут по соседним диапазонам исходных рангов, поэтому сильные кандидаты могут оказаться сконцентрированы в одной группе. Если квота не позволяет продвинуть всех кандидатов из неё, часть отсекается и может понадобиться certification-вызов.
В измерениях авторов переход от BlitzRank на последовательных чанках к круговому входу сопровождался снижением доли запросов с repair-вызовом с 59% до 14%. Медианная задержка снизилась с 4,0 до 3,5 секунды, а среднее число раундов — с 2,6 до 2,1. Это наблюдаемое различие в данном эксперименте, а не гарантия для любого набора документов.
Что показывают результаты и чего они не устанавливают
Авторы сообщают, что DealRank в среднем оказался в пределах 0,1 пункта nDCG@10 от лучших расписаний на шести LLM и выполнялся за два раунда. Для различия nDCG@10 между DealRank и каждым из показанных вариантов приведённые 95-процентные интервалы включали ноль. Это означает, что эксперимент не установил статистически значимого различия по этим интервалам, но не доказывает равенство методов.
Среди доступных материалов независимых тестов этих расписаний нет. Задержки и качество относятся к эксперименту авторов и не гарантируют те же результаты на другой модели, размере контекста, retriever или инфраструктуре. Исследование также не измеряет стоимость внедрения и эксплуатационные расходы для конкретной системы.
Какой вариант выбрать
Если важны короткая задержка и малое число раундов, DealRank — сильный кандидат для проверки: в таблице у него 3,4 секунды, 2,0 раунда и nDCG@10 57,4. Авторы характеризуют его как расписание, близкое к лучшим по среднему nDCG@10; это их вывод по проведённому эксперименту.
Если система уже использует BlitzRank и важно сократить частоту repair-вызовов, круговое распределение в эксперименте дало 14% запросов с certification-вызовом против 59% у последовательных чанков. Его nDCG@10 составил 57,1 против 57,5 у последовательного варианта, поэтому выбор зависит от того, насколько важны эти критерии для конкретной системы.
Если приоритет — nDCG@10 в этой таблице, BlitzRank на чанках и sliding window показали по 57,5. Но медианная задержка sliding window составила 13,4 секунды при 9,0 раунда против 4,0 секунды и 2,6 раунда у BlitzRank на чанках. Поэтому при ограничении времени sliding window выглядит менее подходящим по приведённым измерениям.
Источник не сравнивает трудоёмкость внедрения, поэтому назвать одну схему самой простой в эксплуатации по этим данным нельзя. Практический выбор — сопоставить кандидатов на одинаковых запросах, модели и инфраструктуре: опубликованные показатели помогают определить, какие варианты стоит включить в такое испытание, но не заменяют его.



