В статье на arXiv от 21 октября 2026 года исследователи Adobe предложили LARA — методику, разделяющую оценку поиска, действий пользователя и успеха продукта. Для команд, измеряющих качество ИИ-ассистентов, её ключевой вывод: клики и завершение задачи могут не показывать, какой вклад внёс поиск.
Почему привычные метрики дают сбой
CTR, MRR и поведенческие показатели вроде behavioral NDCG предполагают, что человек видит результаты поиска и взаимодействует с ними. В агентном ассистенте выдачу сначала получает модель: она может выбрать шаблон и подготовить дизайн, не показывая пользователю остальные варианты. Отсутствие клика в таком сценарии не означает, что поиск не помог.
Авторы выделяют три проблемы атрибуции: агент читает результаты раньше пользователя; действие человека может произойти через несколько ходов или сессий; итоговый ответ сочетает найденные материалы со знаниями модели. Поэтому простая связь «поиск — клик — успех» может не отражать реальный вклад retrieval.
Что показали данные Adobe Express
Авторы приводят производственные данные Adobe Express за август 2026 года. Одна поисковая инфраструктура обслуживала галерею и агентный ассистент; объём сессий ассистента составлял примерно одну восьмую объёма сессий галереи для той же аудитории. Доля переформулировок составила 44,4% у пользователей чата и 33,1% у пользователей галереи.
По описанию авторов, retrieval срабатывал для 0,31% запросов ассистента. Это показатель доли запросов, а не сессий. Авторы объясняют более частые переформулировки в чате тем, что там пользователи уточняют сгенерированный результат. Данные относятся к одному продукту и сообщены исследователями Adobe; это не независимое сравнение систем.
Как LARA связывает поиск с результатом
LARA оценивает retrieval, вовлечение и результат пользователя, а также успех продукта как отдельные слои. Для атрибуции последующих действий авторы предлагают четырёхполевую схему lineage: среди полей названы идентификатор использованного объекта и идентификатор исходного поискового события. Это позволяет связать действие с материалом, который участвовал в нём, даже если действие произошло позднее.
Методика не устраняет все слепые зоны. Авторы отдельно отмечают уверенно сформулированный неверный ответ, который пользователь не проверяет: автоматическая оценка может его не заметить. LARA также не решает вопрос, когда ассистенту следует запускать поиск; авторы относят маршрутизацию к отдельной задаче.
Источник и границы данных
Статья исследователей Adobe на arXiv опубликована в версии v1 от 21 октября 2026 года. Производственные показатели описывают Adobe Express за август 2026 года; независимой проверки этих цифр или сравнительного теста нескольких продуктов статья не приводит.
