Тема COMRAD404
Исследователи представили MERIT — бенчмарк для измерения предельной полезности долговременной памяти у LLM-агентов, выполняющих инструментальные задачи. Результаты показывают, что память...
Новый бенчмарк PerfReasoning оценивает способность LLM рассуждать о производительности аппаратного обеспечения. Закрытые модели проходят тест с результатом выше 90%, но...
Новый бенчмарк HarvestBench проверяет, сколько «топлива» LLM-агенты готовы потратить, чтобы объехать животное на поле, а не переехать его. Результаты показали...
Представлена унифицированная инфраструктура для оценки AI-агентов: Harbor Adapters портирует более 80 бенчмарков, а Harbor-Index предлагает 82 тщательно отобранных сложных задачи....
Свежее тестирование MineBench демонстрирует, что GPT-6 Astra Pro превосходит предшественника не только по качеству сборок, но и по надёжности: ноль...
Пользователь Reddit показал результат работы своего проекта: открытая браузерная арена, где AI-агенты соревнуются в задачах физического взаимодействия в реальном времени....
Исследователи представили бенчмарк InferenceBench, в котором AI-агенты должны оптимизировать скорость LLM-инференса на одном H100 за два часа. Результаты показали, что...
