Разработчик представил Verdict — бесплатный инструмент с открытым исходным кодом, предназначенный для оценки качества работы AI-агентов, чат-ботов и других LLM-функций. Инструмент позволяет загружать трассировки взаимодействий с AI и оценивать их вручную, присваивая статусы Pass или Fail с комментариями.
Цель Verdict — упростить процесс оценки AI-функций, который часто сводится к поверхностному “визуальному контролю”. Автор подчеркивает, что для реальной оценки необходимо анализировать данные, выявлять типы ошибок и автоматизировать процесс измерения качества. Verdict стремится реализовать этот цикл оценки.
Методология инструмента вдохновлена подходом Хамеля Хусейна к оценке AI, который включает анализ данных, кодирование ошибок и валидацию LLM-судьи на основе человеческих меток. Verdict позволяет создать LLM-судью, который затем может использоваться для мониторинга качества в продакшене, после того как его согласие с человеческими оценками будет доказано.
Как работает Verdict
| Пункт | Деталь |
|---|---|
| Загрузка данных | Поддерживаются трассировки от любого AI-агента. |
| Ручная оценка | Пользователи могут помечать разговоры как Pass или Fail, добавляя комментарии. |
| Анализ ошибок | Инструмент помогает выявлять и классифицировать типы ошибок. |
| LLM-судья | Возможность создания и валидации LLM-судьи на основе человеческих меток. |
| Экспорт | Валидированный судья может быть экспортирован для мониторинга в продакшене. |
| Приватность | Все обрабатывается локально в браузере, данные не покидают машину пользователя, если не выбрано использование внешних LLM API. |
Инструмент полностью работает в браузере, не требует установки и доступен в виде одного HTML-файла, что позволяет использовать его офлайн. Код проекта опубликован на GitHub.
Что дальше
Разработчик предлагает попробовать инструмент, используя встроенные примеры данных. Валидация LLM-судьи является ключевым шагом, позволяющим убедиться, что автоматизированная оценка соответствует человеческой.
Исходный URL: https://github.com/AntoineF23/verdict
Верификация: https://github.blog/