В гибридном поиске sparse- и dense-ретриверы строят отдельные списки результатов, а Reciprocal Rank Fusion (RRF) объединяет их ранги. Стандартный RRF использует фиксированные веса; динамические методы подбирают вес с учётом запроса, но могут требовать обучающих данных и увеличивать задержку. Авторы исследования сравнили подходы на четырёх наборах данных и четырёх парах sparse–dense ретриверов. В препринте на arXiv приведены их экспериментальные результаты, а не независимые измерения редакции.
Сравнение по адаптации, данным, инфраструктуре и задержке
В таблице собраны значения и характеристики, указанные авторами. Под «обучающими данными» здесь понимаются данные, требуемые методом или использованные для обучения; задержки — средние значения с 95%-м доверительным интервалом, приведённые в исследовании. Последняя колонка описывает адаптацию, а не измеренное качество поиска: таблица не устанавливает, что один из этих вариантов лучше остальных по качеству.
| Метод | Адаптация | Обучающие данные | Инфраструктура | Задержка по авторам |
|---|---|---|---|---|
| Стандартный RRF, вес 0,5 | Фиксированный вес; не query-aware | Не требуются | CPU | Менее 1 мкс |
| Mean Optimal Weight | Средний оптимальный вес; не query-aware | Требуются | CPU | Менее 1 мкс |
| Линейная регрессия | Query-aware; без top-1 awareness | Требуются | CPU | 265,00 ± 3,00 мкс |
| Small Encoder LM, без top-1 awareness | Query-aware | Требуются | Self-host GPU | 5,24 ± 0,04 мс |
| Small Encoder LM, с top-1 awareness | Query-aware и top-1 retrieval-aware | Требуются | Self-host GPU | 8,46 ± 0,02 мс |
| DAT, zero-shot | Query-aware и top-1 retrieval-aware | Не требуются | Self-host GPU или LLM API | 205,50 ± 8,55 мс |
| Few-shot LLM | Query-aware; top-1 awareness не указана | Требуются | Self-host GPU или LLM API | 225,37 ± 8,37 мс |
По приведённым значениям стандартный RRF и Mean Optimal Weight — варианты с наименьшей задержкой, но только первый не требует обучающих данных. Линейная регрессия добавляет адаптацию к запросу и остаётся CPU-вариантом, однако её указанная задержка выше. Encoder-модели требуют self-host GPU и работают в миллисекундном диапазоне; DAT и Few-shot LLM в таблице занимают сотни миллисекунд. Это сравнение заявленных авторами задержек: фактическое время в другой системе может отличаться.
Почему оптимальный вес — не обязательно одна точка
Авторы исследуют предположение, что для каждого запроса существует единственный лучший вес слияния. По их результатам, оптимальные значения обычно образуют интервал; у запроса могут быть несколько таких интервалов, причём разной формы. Поэтому точечный прогноз веса не всегда описывает все значения, при которых слияние рангов даёт оптимальный результат.
В исследовании рассмотрены восемь стратегий динамической настройки. Авторы сообщают, что 74 из 128 проверенных динамических методов статистически значимо превзошли стандартный RRF после коррекции на множественные сравнения. Это число относится к методам, а не к доле запросов или корпусов. Оно не означает, что любой динамический метод улучшит результаты в другой поисковой системе.
Кому подходит каждый класс методов
Если важны минимальная задержка и отсутствие обучения, стандартный RRF — наиболее прямой выбор из таблицы: он работает на CPU и не требует обучающих данных. Mean Optimal Weight сохраняет заявленную задержку менее 1 мкс, но требует данных и, как стандартный RRF, не адаптируется к запросу.
Если данные есть, нужна query-aware настройка и инфраструктуру желательно оставить на CPU, можно рассматривать линейную регрессию: авторы указывают 265,00 ± 3,00 мкс. Если доступен self-host GPU и допустима задержка в миллисекундах, Small Encoder LM предлагает query-aware режимы; вариант с top-1 awareness имеет более высокую из двух приведённых задержек — 8,46 ± 0,02 мс против 5,24 ± 0,04 мс.
DAT zero-shot стоит рассматривать, если обучающие данные не требуются, но приемлемы GPU или LLM API и задержка порядка сотен миллисекунд. Few-shot LLM также относится к этому диапазону, требует обучающих данных, а её задержка в таблице выше, чем у DAT zero-shot: 225,37 против 205,50 мс. Эти числа сами по себе не доказывают преимущество DAT по качеству.
Что можно заключить о качестве и ограничениях
Исследование даёт аргумент в пользу проверки динамических методов, но не универсальный рейтинг вариантов из таблицы. Авторы сообщают о статистически значимом превосходстве 74 из 128 динамических методов над стандартным RRF после коррекции на множественные сравнения; при этом результат ограничен четырьмя наборами данных и четырьмя парами ретриверов. Независимой проверки редакции нет. Поэтому выбирать метод следует по доступности данных, инфраструктуре и допустимой задержке, а качество оценивать на собственном корпусе и с собственными ретриверами.
