Кодовые агенты — одно из перспективных направлений развития искусственного интеллекта. Однако существующие методы оценки их работы часто ограничиваются простым бинарным результатом: выполнил задачу или нет. Это не отражает реальный опыт использования таких агентов, который включает в себя весь процесс взаимодействия: от следования инструкциям и использования инструментов до самопроверки и исправления ошибок.
Новый бенчмарк AgentLens призван решить эту проблему. Он предлагает комплексный подход к оценке кодовых агентов, анализируя всю траекторию выполнения задачи.
Ключевые особенности AgentLens:
| Punkt | Detail |
|---|---|
| Комплексная оценка | Анализирует весь процесс работы агента, а не только конечный результат. |
| Гибридный подход | Сочетает формальную верификацию с оценками LLM и попарными сравнениями. |
| Понятные объяснения | Каждое выполнение задачи сопровождается подробным объяснением результатов. |
| Открытый исходный код | Бенчмарк доступен для использования и доработки сообществом. |
AgentLens позволяет не только ранжировать модели, но и диагностировать их поведение, сравнивать разные версии агентов и отслеживать регрессии в продуктах. Разработчики выпустили бенчмарк в открытый доступ.
Что дальше?
Остается открытым вопрос, насколько хорошо AgentLens будет масштабироваться для оценки очень сложных и длительных задач. Важно также, как различные команды разработчиков кодовых агентов адаптируют свои модели под этот новый подход к оценке.
Источник: https://arxiv.org/abs/2607.06624
Проверка: https://github.blog/