Attest 1.1.0 предлагает replay-тесты действий ИИ-агентов

Attest 1.1.0 для Python и TypeScript предлагает записывать трассы ИИ-агентов, воспроизводить ответы модели и проверять вызовы инструментов и внешнее состояние.

Attest 1.1.0 предлагает replay-тесты действий ИИ-агентов. Тематическая карточка Comrad404.

Attest 1.1.0 — фреймворк для Python и TypeScript, который, по описанию проекта, позволяет проверять ответы ИИ-агентов, вызовы инструментов и изменения внешнего состояния с помощью pytest или Vitest. Разработчики описывают цикл записи трассы, воспроизведения и проверки перед слиянием кода. Страница проекта была опубликована в подборке Hacker News 15 ноября 2026 года; эта дата не подтверждает дату выхода версии. Описание Attest Framework.

Как устроен цикл capture → replay → gate

На этапе capture Attest записывает трассу и обмены с моделью, применяет редактирование данных и предлагает контракты на основе прогона. При строгом replay код агента запускается с записанными ответами модели через локальный прокси; для совпадающих запросов новые обращения к живой модели не нужны. На этапе gate проверки выдают результат, а политика может блокировать слияние при неудачных тестах. По умолчанию, согласно странице проекта, провал теста блокирует слияние.

Такой повтор снижает зависимость результата от вариативности ответов модели, но не устраняет нестабильность зависимостей инструментов или недостаточную изоляцию тестов. Эти условия по-прежнему нужно контролировать.

Двойной возврат в демонстрации INC-1042

Разработчики приводят синтетический сценарий: после тайм-аута платежа агент поддержки дважды возвращает деньги, хотя тесты, проверяющие только текст ответа, проходят. В качестве регрессионной проверки предлагается ограничить число вызовов issue_refund одним на каждый order_id. Это проверяет действие агента и связанное с ним состояние, а не только сформулированный ответ.

В примере правило выражено как ограничение числа вызовов инструмента для бизнес-ключа: expect(trace).tool_cardinality("issue_refund", per="order_id", at_most=1). Сценарий и предлагаемое правило описаны разработчиками; страница не представляет их как результат независимого испытания.

Шесть уровней проверок

Страница проекта перечисляет проверки JSON Schema; ограничений стоимости, числа токенов, задержки и шагов; трасс и поведения; текстовых шаблонов; сходства эмбеддингов; оценки LLM-судьёй. Проверки трасс могут учитывать инструменты, порядок и аргументы вызовов, частоту действий по бизнес-ключу и итоговое состояние системы. Разработчики рекомендуют начинать с детерминированных проверок, а оценку LLM-судьёй добавлять для критериев, которые нельзя выразить такими проверками. Для собственных утверждений предусмотрены плагины.

Где заканчиваются гарантии replay

Запись не становится эталоном правильного поведения только потому, что с ней согласуется фикстура: разработчики советуют проверить фикстуру и задать независимые бизнес-инварианты. Строгий replay устраняет вариативность живой модели лишь для совпадающих запросов, а не все источники нестабильности. Тестирование мультиагентных цепочек и Simulation Mode обозначены как beta, Continuous Evaluation — как experimental; собственные сетевые вызовы приложения в Simulation Mode требуют отдельных моков или replay. Описание возможностей и сценарий INC-1042 приведены на странице проекта; независимых испытаний в доступных источниках нет.