Препринт EverydayBench, опубликованный на arXiv 18 ноября 2026 года, предлагает оценивать ИИ-агентов по тому, насколько полно они выполняют повседневные цифровые задачи: соблюдают требования, подкрепляют важные утверждения источниками и выдают пригодный результат. Авторы описывают 77 задач из восьми областей и приводят показатели 23 конфигураций агентов и моделей. Препринт EverydayBench на arXiv.
Задания допускают разные решения
Для каждой задачи заранее заданы критерии успеха, но не конкретный ответ или порядок действий. Поэтому оценка ориентирована на выполнение требований и качество итоговой работы, а не на совпадение с одним заранее выбранным решением.
Три слоя оценки
Методика сочетает детерминированную проверку явных ограничений, сверку утверждений агента с указанными им веб-страницами, полученными во время оценки, и проверку качества итогового результата по рубрике. Так бенчмарк учитывает не только найденные сведения, но и доказательность существенных утверждений и пригодность результата для предполагаемого использования.
Речь идёт о наблюдаемых свойствах выданной работы, а не о субъективной удовлетворённости пользователя или его неозвученных предпочтениях. Это различие важно: результат может формально содержать нужную информацию, но не выполнять требования задания или не иметь достаточной опоры для своих утверждений.
Результаты зависят от конфигурации и типа задачи
По данным авторов, среди 23 проверенных конфигураций Claude Opus 5.5 и Claude Fable 5.1 разделили наибольшую строгую долю прохождения — 54,55%. В контролируемом прогоне GPT-6 Sol строгая доля прохождения составила 29,87% при низком уровне усилий и 45,45% при максимальном. Это опубликованные авторами результаты их бенчмарка.
Лидеры различались и по типам задач: авторы называют GPT-5.6 Sol лучшим в поиске справочной информации, Fable 5.1 — в планировании, Opus 5.5 и Fable 5.1 — в сравнении, а GPT-6 Astra и Sonnet 5.5 — в подготовке персонализированных результатов. Следовательно, общий показатель прохождения не обязательно отражает пригодность конфигурации для отдельного сценария.
Что показывают опубликованные цифры
EverydayBench измеряет сочетание соблюдения требований, поддержки существенных утверждений источниками и качества готового результата. Его показатели относятся к описанным авторами 77 задачам и опубликованному препринту; независимой репликации в доступных источниках нет. Поэтому эти результаты характеризуют конкретную оценку, а не универсальное качество всех ИИ-агентов.







