Сравнения

DealRank, BlitzRank или sliding window: сравнение графиков listwise-реранжирования

Сопоставляем DealRank, два варианта BlitzRank и sliding window по задержке, числу раундов, repair-вызовам и nDCG@10 в эксперименте авторов на шести LLM.

Наш вывод

В эксперименте авторов DealRank показал 3,4 с медианной задержки, 2,0 раунда и nDCG@10 57,4. Круговой BlitzRank потребовал certification-вызов в 14% запросов против 59% у последовательных чанков. Sliding window показал 13,4 с и 9,0 раунда. Результаты получены на шести LLM.

DealRankОткрыть
BlitzRank — последовательные чанкиОткрыть
BlitzRank — круговое распределениеОткрыть
Sliding windowОткрыть

Сравнение

По критериям
КритерийDealRankBlitzRank — последовательные чанки
ВариантМедианная задержкаСреднее число раундов | Запросы с repair-вызовом | nDCG@10
DealRank3,4 с2,0 | Не указано | 57,4
BlitzRank — последовательные чанки4,0 с2,6 | 59% запросов | 57,5
BlitzRank — круговое распределение3,5 с2,1 | 14% запросов | 57,1
Sliding window13,4 с9,0 | Не указано | 57,5

Что выбрать под вашу задачу

Минимальная задержка и малое число раундов
DealRank как кандидат для проверки
Снизить частоту repair среди вариантов BlitzRank
BlitzRank с круговым распределением
Приоритет nDCG@10 при меньшей важности задержки
Сравнить BlitzRank на чанках и sliding window на своей системе
Проверить перенос результатов
Сопоставить на одинаковых запросах, модели и инфраструктуре

DealRank, BlitzRank с последовательными чанками, BlitzRank с круговым распределением и sliding window отличаются задержкой, числом раундов и частотой дополнительных certification-вызовов. В эксперименте авторов на шести LLM DealRank показал медианную задержку 3,4 секунды и 2,0 раунда; круговой BlitzRank — 3,5 секунды и 2,1 раунда. Результаты и описание методов опубликованы в препринте «Deal With It: On Better Schedules for Listwise Reranking».

Как различаются схемы реранжирования

Listwise-реранжер просит языковую модель упорядочить сразу группу документов. Если кандидатов слишком много для одного вызова, расписание разбивает их на группы и сводит локальные результаты в общий порядок. В препринте сопоставлены DealRank, BlitzRank с последовательными чанками, BlitzRank с круговым распределением входных кандидатов и sliding window.

Распределение важно, потому что в каждой группе есть квота на кандидатов, проходящих дальше. Если сильные документы сосредоточены в одной группе, квота может отсечь часть перспективных результатов и потребовать дополнительного certification-вызова. Круговое распределение разносит кандидатов между группами; в описанном авторами примере каждая группа получает по четыре документа из первых двадцати.

Сравнение по одинаковым критериям

Все значения в таблице — результаты эксперимента авторов. Задержка указана как медианная, число раундов — как среднее. Доля repair-вызовов означает процент запросов, в которых понадобился certification-вызов; nDCG@10 усреднён по шести LLM.

Вариант Медианная задержка Среднее число раундов Запросы с repair-вызовом nDCG@10
DealRank 3,4 с 2,0 Не указано 57,4
BlitzRank, последовательные чанки 4,0 с 2,6 59% 57,5
BlitzRank, круговое распределение 3,5 с 2,1 14% 57,1
Sliding window 13,4 с 9,0 Не указано 57,5

Знаменатель для 59% и 14% — запросы эксперимента: столько запросов соответствующего варианта потребовали certification-вызов. Это не доля repair-вызовов среди всех вызовов модели. Для DealRank и sliding window частота в показанном сравнении не указана, поэтому отсутствие числа нельзя трактовать как отсутствие таких вызовов.

Почему круговое распределение сокращает дополнительные вызовы

В примере авторов круговая раздача распределяет документы с высокими исходными рангами между группами: каждая получает по четыре из первых двадцати. При последовательном разбиении документы идут по соседним диапазонам исходных рангов, поэтому сильные кандидаты могут оказаться сконцентрированы в одной группе. Если квота не позволяет продвинуть всех кандидатов из неё, часть отсекается и может понадобиться certification-вызов.

В измерениях авторов переход от BlitzRank на последовательных чанках к круговому входу сопровождался снижением доли запросов с repair-вызовом с 59% до 14%. Медианная задержка снизилась с 4,0 до 3,5 секунды, а среднее число раундов — с 2,6 до 2,1. Это наблюдаемое различие в данном эксперименте, а не гарантия для любого набора документов.

Что показывают результаты и чего они не устанавливают

Авторы сообщают, что DealRank в среднем оказался в пределах 0,1 пункта nDCG@10 от лучших расписаний на шести LLM и выполнялся за два раунда. Для различия nDCG@10 между DealRank и каждым из показанных вариантов приведённые 95-процентные интервалы включали ноль. Это означает, что эксперимент не установил статистически значимого различия по этим интервалам, но не доказывает равенство методов.

Среди доступных материалов независимых тестов этих расписаний нет. Задержки и качество относятся к эксперименту авторов и не гарантируют те же результаты на другой модели, размере контекста, retriever или инфраструктуре. Исследование также не измеряет стоимость внедрения и эксплуатационные расходы для конкретной системы.

Какой вариант выбрать

Если важны короткая задержка и малое число раундов, DealRank — сильный кандидат для проверки: в таблице у него 3,4 секунды, 2,0 раунда и nDCG@10 57,4. Авторы характеризуют его как расписание, близкое к лучшим по среднему nDCG@10; это их вывод по проведённому эксперименту.

Если система уже использует BlitzRank и важно сократить частоту repair-вызовов, круговое распределение в эксперименте дало 14% запросов с certification-вызовом против 59% у последовательных чанков. Его nDCG@10 составил 57,1 против 57,5 у последовательного варианта, поэтому выбор зависит от того, насколько важны эти критерии для конкретной системы.

Если приоритет — nDCG@10 в этой таблице, BlitzRank на чанках и sliding window показали по 57,5. Но медианная задержка sliding window составила 13,4 секунды при 9,0 раунда против 4,0 секунды и 2,6 раунда у BlitzRank на чанках. Поэтому при ограничении времени sliding window выглядит менее подходящим по приведённым измерениям.

Источник не сравнивает трудоёмкость внедрения, поэтому назвать одну схему самой простой в эксплуатации по этим данным нельзя. Практический выбор — сопоставить кандидатов на одинаковых запросах, модели и инфраструктуре: опубликованные показатели помогают определить, какие варианты стоит включить в такое испытание, но не заменяют его.

Вопросы и ответы

Что означает 59% repair-вызовов?

Certification-вызов потребовался в 59% запросов эксперимента для BlitzRank с последовательными чанками.

Доказывают ли 95-процентные интервалы равенство вариантов по nDCG@10?

Нет. Интервалы различий с DealRank включали ноль, но это не доказывает равенство методов.

Можно ли ожидать такую же задержку на любой модели?

Нет. Показатели относятся к эксперименту авторов на шести LLM и зависят от условий системы.