Тема COMRAD404
Исследователи представили OpenDiscoveryTrace — публичный датасет из 558 полных траекторий AI-агентов. Данные показывают, что Claude Opus 4.6 ошибается в 30...
Исследователи представили метод PAC-Private Autoregressive Generation, который калибрует шум на основе разброса мнений ансамбля моделей, адаптированных на приватных данных. Это...
Исследователи представили MERIT — бенчмарк для измерения предельной полезности долговременной памяти у LLM-агентов, выполняющих инструментальные задачи. Результаты показывают, что память...
Исследователи представили AhaBench — набор тестов для оценки способности языковых моделей учиться на предыдущем опыте в долгосрочных сценариях. Бенчмарк включает...
Команда Snowflake AI Research представила HybridDeepResearch — первый бенчмарк, проверяющий способность LLM-агентов одновременно работать с веб-поиском и SQL-запросами. Даже флагманские...
Команда исследователей опубликовала архитектуру и рецепт обучения поисковых агентов Iris-mini (35B-A3B) и Iris-pro (397B-A17B). Модели демонстрируют рекордные результаты в бенчмарках...
Систематизированный обзор arXiv:2609.04286 прослеживает эволюцию AI в подборе персонала — от простого сопоставления пар до многоэтапных workflow с LLM-компонентами и...
Новый бенчмарк PerfReasoning оценивает способность LLM рассуждать о производительности аппаратного обеспечения. Закрытые модели проходят тест с результатом выше 90%, но...
Новый бенчмарк HarvestBench проверяет, сколько «топлива» LLM-агенты готовы потратить, чтобы объехать животное на поле, а не переехать его. Результаты показали...
Представлена унифицированная инфраструктура для оценки AI-агентов: Harbor Adapters портирует более 80 бенчмарков, а Harbor-Index предлагает 82 тщательно отобранных сложных задачи....
