Tessary выпустила открытую платформу для поиска сбоев ИИ-агентов в production. Проект принимает трассы через OTLP, проверяет их лёгкими классификаторами и передаёт подозрительные случаи на разбор отдельным агентам. Код опубликован под лицензией Apache 2.0; платформу можно развернуть самостоятельно или попробовать в облаке.
Два этапа проверки
Согласно документации проекта, Tessary устроена как конвейер из двух уровней. Классификаторы первого уровня просматривают трассы и отмечают потенциальные ошибки. Затем агенты второго уровня анализируют отмеченные случаи, группируют связанные находки и ищут вероятную первопричину, опираясь на трассу и, если подключён репозиторий GitHub, на код.
Такой подход призван расширить охват по сравнению с оценкой случайной выборки трасс: сначала проверять все поступающие данные недорогими средствами, а более затратный анализ запускать только для подозрительных эпизодов. Это архитектурная идея продукта, а не гарантия, что любой сбой будет обнаружен или верно объяснён.
Подключение и данные
Tessary принимает телеметрию по OTLP и поддерживает спецификацию `gen_ai`. Для вызовов модели документация предлагает добавлять к спанам атрибут `tessary.call_site.id`. После установки можно подключить GitHub-репозиторий, чтобы отчёты о причинах ссылались на участки кода, связанные с проблемными трассами.
Проект предлагает облачную версию и самостоятельное размещение через Docker Compose. По описанию разработчиков, self-hosted-инстанс отправляет периодический анонимный heartbeat и проверяет обновления справочника цен моделей. В документации перечислены передаваемые поля и указано, что содержимое трасс, промпты, адрес электронной почты и названия проектов не отправляются. Отправку heartbeat можно отключить переменной `TESSARY_TELEMETRY_ENABLED=false`.
Что стоит проверить на практике
В анонсе авторы заявляют, что на сложных агентах и миллионе трасс их метод оказался в пять раз дешевле выборочной оценки. Это результат внутренних тестов команды, приведённый в описании проекта; независимого подтверждения в предоставленных материалах нет. Цена и качество анализа будут зависеть от потока трасс, набора классификаторов и того, насколько точно те выделяют ошибки.
Для команд с уже настроенной OpenTelemetry-инструментацией Tessary может стать способом исследовать сбои без отправки трасс внешнему облачному сервису — при самостоятельном размещении. Но проекту всё равно нужны корректно собранные спаны, а расследование по коду предполагает подключение репозитория. Перед внедрением стоит проверить полноту телеметрии, полезность найденных причин и фактические расходы на своей нагрузке.
