В препринте SurvEval авторы описывают способ оценивать списки рекомендаций с учётом того, дойдёт ли пользователь до каждой позиции и какую ценность может дать находящийся там элемент. Метод также сохраняет отдельные оценки для нескольких целей. Авторы сообщают о превосходстве над базовыми методами на KuaiRand и Avito, но в доступном тексте нет чисел, позволяющих оценить масштаб преимущества.
Как вероятность просмотра влияет на оценку
SurvEval предназначен для оценки переранжированных списков рекомендаций. Авторы раскладывают ожидаемую полезность списка на вклады по позициям: для каждой позиции учитывается вероятность, что пользователь дойдёт до неё, и условная ценность элемента, если он просмотрен. Описание метода и результаты SurvEval в препринте на arXiv.
Последовательный просмотр вместо заданной скидки
Вероятность достижения позиций авторы моделируют как дискретный процесс выживания. При последовательном просмотре вероятность дойти до следующих позиций не возрастает; метод, согласно описанию, не требует заранее заданной функции скидки для дальних позиций.
Для команды рекомендаций это означает оценку не только ценности элемента, но и его шанса быть замеченным с учётом места в списке. Речь идёт об оценке ожидаемой ценности списка, а не о гарантии роста кликов или других продуктовых показателей.
Несколько целей остаются отдельными
Для оценки ценности SurvEval использует отдельные предсказательные головы по целям и взвешивание многозадачного обучения на основе неопределённости. Компоненты используют общую трансформерную основу. Такой дизайн позволяет представлять несколько сигналов отдельно, а не сводить их изначально к одной оценке.
По одному описанию метода нельзя определить, как выбор целей и их весов повлияет на конкретный продукт или компромисс между показателями: для этого нужно оценивать численные результаты и условия экспериментов.
Что авторы сообщают об экспериментах
В аннотации препринта сказано, что эксперименты на KuaiRand и Avito показали превосходство SurvEval над современными базовыми методами. В доступном тексте нет численной таблицы результатов, поэтому оценить размер преимущества и сравнить его по метрикам и наборам данных нельзя.
Что можно заключить из препринта
В тексте страницы указано, что версия v1 появилась 11 ноября 2026 года. Авторы описывают модель и сообщают о результатах на двух наборах данных, но доступные сведения не позволяют оценить величину заявленного преимущества. Независимая проверка, данные о внедрении, практической стоимости метода и доступности кода в проверенном материале не представлены.
Главное изменение в подходе — учитывать одновременно вероятность просмотра позиции и условную ценность элемента, сохраняя несколько целей. Превосходство над базовыми методами остаётся заявлением авторов препринта, а не независимым подтверждением.
