Claude Code описала три подхода к проверке кода ИИ-агентов

Блог Claude Code описал сквозные, property-based и дифференциальные тесты для проверки кода ИИ-агентов и объяснил, когда применять каждый подход.

Claude Code описала три подхода к проверке кода ИИ-агентов. Тематическая карточка Comrad404.

В публикации от 16 ноября 2026 года Addy Osmani описал три подхода к проверке кода, созданного агентами: сквозные тесты пользовательских сценариев, property-based-тесты и сравнение старой и новой систем. Для читателя это означает простой выбор по задаче: проверить функцию целиком, поискать ошибки на необычных входных данных или убедиться, что миграция сохранила прежнее поведение. Рекомендации опубликованы в блоге Claude Code.

Публикация предлагает проверять не отчёт агента, а свидетельства работы

Общая идея материала — просить агента подтверждать результат работающими проверками, а не ограничиваться сообщением об успешном выполнении. В блоге также сказано, что на стороне Claude Code около 90% кода написано и проверено Claude. Это заявление самой команды, а не независимое измерение; оно не подтверждает отдельно, какую долю кода Claude именно проверяет.

Схема: Такой тест проверяет связанную функцию целиком: отдельные компоненты могут проходить свои проверки, пока пользовательский сценарий остаётся сломанным.; Поэтому сквозные и другие тяжёлые проверки стоит запускать в подходящей точке рабочего цикла, не заменяя ими более быстрые тесты.; Это не измерение эффективности проверки программного кода и не независимое сравнение трёх описанных методов.
Основные элементы, разобранные в статье.

Сквозные тесты воспроизводят путь пользователя

End-to-end-тест описывает последовательность действий в работающем приложении. Для интернет-магазина это может быть добавление товара в корзину, оформление заказа и переход на страницу подтверждения. Такой тест проверяет связанную функцию целиком: отдельные компоненты могут проходить свои проверки, пока пользовательский сценарий остаётся сломанным.

Этот подход полезен для критериев «готово» на уровне продукта. Но один сценарий не охватывает все варианты поведения, поэтому его нужно дополнять проверками ошибок и необычных условий.

Property-based-тесты проверяют свойства на множестве входов

Вместо набора заранее выбранных примеров разработчик формулирует свойство, которое должно сохраняться, а библиотека генерирует входные данные и пытается его нарушить. В статье упомянуты fast-check для JavaScript и TypeScript, Hypothesis для Python и proptest для Rust.

Примеры из публикации — восстановление исходного значения после кодирования и декодирования, неотрицательный баланс и идемпотентность операции. Такой метод способен найти крайние случаи, пропущенные ручными тестами. Однако он подтверждает только заданное свойство: неполная или неверная формулировка не докажет, что функция решает задачу пользователя.

Дифференциальные тесты сопоставляют старую и новую реализации

При миграции обе системы получают одинаковые входные данные, после чего их результаты сравниваются. Если поведение должно сохраниться, расхождение указывает на возможную ошибку или несовместимое изменение. В статье для входов предлагаются случайная генерация и выборка производственного трафика.

До запуска нужно определить, какие различия существенны, а какие заранее разрешены: например, нормализовать формат, не влияющий на смысл результата. Иначе тест будет находить безвредные расхождения или пропускать важные изменения.

Нестабильные и медленные проверки снижают пользу цикла

Osmani предупреждает, что нестабильный тест может приучить агента повторять запуск вместо поиска причины сбоя, а долгие проверки сокращают число итераций. Поэтому сквозные и другие тяжёлые проверки стоит запускать в подходящей точке рабочего цикла, не заменяя ими более быстрые тесты.

В блоге также приведён отдельный результат внутренних тестов структурированной генерации файлов: оценка работы по рубрике повысила успешность задач до 10 процентных пунктов по сравнению со стандартным циклом запросов. Это не измерение эффективности проверки программного кода и не независимое сравнение трёх описанных методов. Практический выбор остаётся таким: пользовательский сценарий подтверждает путь от начала до конца, property-based-тест ищет нарушения инвариантов, а дифференциальный тест помогает сохранить поведение при замене системы.