Рынок AI-агентов перегрет обещаниями. Каждую неделю появляется новый «агент, который заменит вашего джуниора», «решит задачу за секунду» или «автономно выполнит бизнес-процесс». Но когда дело доходит до реальной интеграции, выясняется, что заявленные метрики не воспроизводятся, а агент падает на первом же нестандартном сценарии.
Проблема не в том, что агенты плохи. Проблема в том, что их тестируют неправильно — или не тестируют вовсе. Разберем, как устроена объективная проверка AI-агентов, какие бенчмарки заслуживают доверия, а какие — нет, и что делать, если вы решили оценить агента до того, как отдать ему часть своего пайплайна.
Что изменилось: от чат-бота к инструменту
Классические тесты LLM — MMLU, HumanEval, GSM8K — измеряют статическое знание и способность решить изолированную задачу. Агент же работает иначе: он получает инструкцию, планирует шаги, вызывает инструменты, обрабатывает результаты и корректирует поведение. Это принципиально другая архитектура, и старые метрики здесь неприменимы.
Когда Anthropic выпускала Claude 3.5 Sonnet, ключевым бенчмарком стал не MMLU, а SWE-bench — тест, в котором модель должна исправить реальные баги в open-source репозиториях. Это прямое измерение агентских способностей: модель пишет патчи, запускает тесты, ищет ошибки. Результат Claude на SWE-bench Verified — 49% решенных задач — стал отраслевым ориентиром. Для сравнения: GPT-4 на том же тесте показывал около 25-30%.
Другой важный бенчмарк — GAIA от Meta и Hugging Face. Он проверяет способность агента выполнять многошаговые задачи, требующие поиска информации, вычислений и работы с инструментами. GAIA ближе всего к реальному сценарию использования агента как ассистента.
Что показывают источники
Официальная документация Anthropic по Tool Use прямо указывает: точность вызова инструментов — отдельная метрика, которую нужно измерять. Компания рекомендует тестировать агента на датасете τ-bench, разработанном исследователями из Berkeley. Этот бенчмарк симулирует работу с авиационными и гостиничными данными: агент должен бронировать билеты, отменять заказы, применять скидки. Ключевое отличие — в τ-bench есть «скрытые» ограничения, которые агент должен самостоятельно выявить в процессе диалога.
Исследовательская группа из MIT и Microsoft опубликовала работу «AgentBench: Evaluating LLMs as Agents», где протестировала 25 моделей на 8 разных средах — от веб-навигации до работы с базами данных. Вывод: даже лучшие модели проваливаются на длинных цепочках действий. После 5-6 шагов точность падает ниже 50% у всех коммерческих моделей.
На Reddit в сообществе r/MachineLearning активно обсуждают воспроизводимость агентских бенчмарков. Пользователи отмечают, что результат сильно зависит от промпта, температуры и версии API. Один и тот же агент на одном и том же тесте может показывать от 30% до 70% успеха при смене системного промпта.
Практический чеклист тестирования
Если вы собираетесь интегрировать AI-агента в свой рабочий процесс, вот минимальный набор проверок:
| Что проверять | Как тестировать | На что смотреть |
|---|---|---|
| Tool Calling | Вызвать 10 разных инструментов с корректными и некорректными параметрами | Долю успешных вызовов, скорость, качество сообщений об ошибках |
| Многошаговые сценарии | Задача из 5-8 шагов с ветвлением | Процент завершенных цепочек, время выполнения |
| Обработка ошибок | Подать некорректные данные, отключить API, вернуть 500 | Падает ли агент или корректирует план |
| Консистентность | Запустить один и тот же тест 5 раз | Разброс результатов, вероятность случайного успеха |
| Стоимость | Посчитать токены на типовой задаче | Соотношение цена/качество для вашего сценария |
Важно: тестируйте на своих данных, а не на публичных датасетах. SWE-bench хорош, но он не знает вашу кодовую базу. GAIA не заменит тест на ваших документах.
Где бенчмарки обманывают
Первая ловушка — contamination. Если модель обучалась на данных, которые есть в тестовом наборе, результат не имеет смысла. OpenAI и Anthropic публично признавали, что утечки данных в тренировочные корпуса — системная проблема индустрии. Поэтому доверять только цифрам с leaderboard нельзя.
Вторая — узость тестов. SWE-bench проверяет только исправление багов, но не создание нового кода. GAIA не тестирует работу с реальными API. τ-bench не включает работу с базами данных. Ни один существующий бенчмарк не покрывает полный спектр агентских задач.
Третья — игнорирование стохастичности. Агент на одной и той же задаче может вести себя по-разному. В исследовании AgentBench отмечается, что стандартное отклонение результатов при повторных запусках достигает 15-20%. Это значит, что разница между «агент работает» и «агент не работает» может быть просто случайностью.
Четвертая — маркетинговые метрики. Некоторые компании публикуют результаты на собственных бенчмарках с неизвестной методологией. Если нет открытого датасета, кода оценки и процедуры воспроизведения — цифры ничего не стоят.
Что проверить самостоятельно
Не ждите, пока индустрия договорится об универсальном стандарте. Соберите свой тестовый набор из 20-30 задач, которые реально возникают в вашей работе. Запишите их в виде четких инструкций с ожидаемым результатом. Запустите агента 3-5 раз на каждой задаче. Замерьте: долю успеха, время, стоимость, количество ретраев.
Если агент проходит 70% ваших тестов — он готов к ограниченному использованию под присмотром. Если меньше 50% — рано отдавать ему автономию.
Обратите внимание на публичные датасеты от разработчиков фреймворков. CrewAI, LangChain и AutoGen публикуют тестовые сценарии для своих агентов. Они не идеальны, но дают начальную точку для сравнения.
И помните: лучший тест агента — это работа в вашем контуре с реальными данными и реальными ошибками. Ни один бенчмарк не заменит недели эксплуатации в продакшене.