В препринте SwitchIR авторы сообщают, что протестированные модели плотного поиска заметно хуже ранжировали документы, когда нужный ответ зависел от направления отношения между теми же объектами. Например, инструкции «A вызывает B» и «B вызывает A» содержат почти те же сущности и слова, но требуют разного результата. Версия работы на arXiv датирована 11 ноября 2026 года; запись появилась в объявлении arXiv 13 ноября. Препринт When Direction Matters: Diagnosing Relational Instruction Following in Dense Retrieval описывает диагностический набор и результаты авторских экспериментов.
Авторы обнаружили разрыв между типами инструкций
Авторы сообщают, что оценённые модели лучше справлялись с заданиями, где нужный документ можно было определить по лексическим или атрибутивным подсказкам, чем с задачей Relational Flip. По их данным, тот же порядок результатов наблюдался и на реалистичном варианте набора, проверенном с помощью языковой модели и вручную.
Как устроена проверка
SwitchIR сравнивает три типа инструкций. Constraint Shift меняет ограничение, связанное с заметными признаками. Explicit Filtering проверяет фильтрацию по атрибуту. В Relational Flip пара документов и сущности остаются теми же, а целевое отношение разворачивается: например, вместо «A вызывает B» нужно найти «B вызывает A».
Такой дизайн помогает отделить реакцию на направление связи от реакции на совпадающие слова и сущности. Если модель сохраняет предпочтение одному документу из пары, смена формулировки может не привести к правильному изменению ранжирования.
Почему направление может не изменить ранжирование
Авторы объясняют результат через два компонента оценки: взаимодействие запроса и документа, чувствительное к направлению, и предпочтение одного документа из пары, которое от направления не зависит. Правильно поменять ранжирование в обеих версиях модель может, только если направленный сигнал сильнее этого устойчивого предпочтения.
Это объяснение относится к исследованной постановке: высокая смысловая близость запроса и документа сама по себе не гарантирует, что модель учла, кто в отношении является причиной, а кто следствием.
Что показало дообучение и где заканчиваются выводы
Авторы также сообщают, что диагностическое дообучение помогло моделям усваивать реляционное поведение с переносом на другие семейства отношений; у более крупной модели перенос был сильнее. Результат показывает, что в их экспериментах поведение менялось после специального дообучения, но не доказывает, что тот же эффект возникнет в любом поисковом сервисе.
Это препринт с результатами исследования его авторов, а не независимая проверка редакции. Эксперименты относятся к протестированным моделям и наборам; они не устанавливают, насколько часто такая ошибка встречается в реальных поисковых продуктах, и не позволяют обобщать вывод на все поисковые системы.
