Arize AI — observability и evals для LLM-приложений

✅ Подходит: командам, которые строят LLM- или RAG-приложения и хотят видеть трассировки, запускать evals и держать observability-контур у себя. ❌ Не подходит: тем, кому нужна именно векторная БД или полностью проверенная SaaS-приватность без дополнительного аудита. 💡 Ключевое преимущество: Phoenix можно self-host без лицензионных платежей, без usage limits и даже в fully air-gapped окружении.

Разработчик: Arize AI · Тип: web, self-hosted, API/инструментация · Официальный URL: arize.com/docs/phoenix · Дата проверки: 15.08.2026

Коротко: Arize AI в официальных источниках раскрывается как стек для AI observability и evaluation, а не как векторная БД. Ядро карточки — Arize Phoenix: open-source продукт для tracing, evaluations, prompt engineering, datasets и experiments, построенный на OpenTelemetry и OpenInference. GitHub Releases показывают активную разработку: последний релиз arize-phoenix v20.2.1 датирован 14.08.2026. Редакционное ограничение: в предоставленном пакете нет канонической Privacy Policy и подтверждённых данных по РФ, поэтому вопросы SaaS-приватности, оплаты и регионов нужно проверять отдельно.

Что умеет

• Собирать traces и spans для model calls, retrieval, tool use и custom logic в LLM-приложении.
• Запускать evaluations по собранным данным и логировать annotations обратно в Phoenix.
• Поддерживать prompt engineering, datasets и experiments в одном observability-контуре.
• Работать на базе OpenTelemetry и OpenInference, то есть использовать стандартизированную инструментацию вместо закрытого формата.
• Разворачиваться self-hosted бесплатно: без feature limitations, без license fees, без usage limits, с возможностью fully air-gapped deployment.
• Если нужен managed-вариант, использовать AX с тарифами Free и Pro для AI agent observability and evaluation.

Практически это полезно, если вы хотите наблюдать не только ответы модели, но и весь путь запроса: retrieval из vector store, вызовы инструментов и результат evals. Если ваш стек строится вокруг retrieval, сам storage-layer придётся выбирать отдельно, например по карточке Chroma.

Как использовать

Ниже — воспроизводимый workflow из официальных Phoenix-доков для локального запуска observability и evals.

1. Поднимите локальный Phoenix. По официальному FAQ локальное приложение по умолчанию доступно на http://localhost:6006, а trace collector — на http://localhost:6006/v1/traces. Если endpoint другой, docs указывают на переменную PHOENIX_ENDPOINT.
2. Установите пакеты для evals и клиента. Официальный quickstart использует arize-phoenix-evals>=2 и arize-phoenix-client, а для OTEL-настройки docs требуют arize-phoenix-otel>=0.16.0.

pip install "arize-phoenix-evals>=2" arize-phoenix-client
pip install "arize-phoenix-otel>=0.16.0"
export PHOENIX_COLLECTOR_ENDPOINT=http://localhost:6006

1. Инструментируйте приложение через OpenInference/OpenTelemetry. Актуальные docs говорят, что при arize-phoenix-otel>=0.16.0 можно импортировать context managers и semantic conventions прямо из phoenix.otel.
2. Прогоните реальные запросы и соберите spans. Phoenix умеет сохранять вызовы модели, retrieval, tool use и custom logic, поэтому вы видите не только финальный ответ, но и цепочку причин.
3. Запустите evals. Официальный Python quickstart подтягивает spans в dataframe, выполняет async_evaluate_dataframe, а затем логирует annotations обратно в Phoenix. На этом этапе удобно проверять качество retrieval, tool selection и соблюдение guardrails для production-сценариев.

Если вы строите систему с повышенными требованиями к качеству и рискам, отдельно посмотрите материалы по AI Safety и практику настройки guardrails для AI-приложения.

Тарифы и ограничения

Дата проверки тарифов: 15.08.2026. Для Phoenix бесплатность и отсутствие usage limits подтверждены self-hosting docs. Для AX цены и квоты в предоставленном пакете подтверждены pricing page; второй независимый источник для AX-тарифов в пакете не дан, поэтому перед закупкой перепроверьте официальную страницу цен.

Что это означает на практике: Phoenix выгоднее, если вам нужен долгоживущий внутренний observability-контур без счётчика по spans. AX — удобнее, если вы готовы жить в рамках SaaS-квот и retention-окон.

Работа с данными и приватность

Phoenix принимает и отображает телеметрию AI-приложения в виде traces и spans. По официальным docs туда могут попадать model calls, retrieval, tool use и custom logic. Если вы трассируете RAG, это может включать события из vector-store слоя и внешних инструментов через OpenInference.

В self-hosted архитектуре Phoenix состоит из web UI, trace collector и SQL database backend. Локально по умолчанию используется SQLite в ~/.phoenix/ или каталоге из PHOENIX_WORKING_DIR; для production рекомендован PostgreSQL не ниже v14. Важная деталь: PHOENIX_DEFAULT_RETENTION_POLICY_DAYS по умолчанию равен 0, а это означает бесконечное хранение без автоматической очистки, если вы явно не настроили retention.

С точки зрения контроля данных Phoenix выглядит сильнее managed SaaS, потому что docs прямо разрешают fully air-gapped развёртывание. Для AX в предоставленном пакете подтверждено только то, что Enterprise может поставляться как SaaS или self-hosted и что есть add-on для data residency и multi-region deployments.

Ограничение по приватности: в source pack нет канонической ссылки на Privacy Policy, и в проверенных источниках не подтверждено, используются ли данные для обучения моделей. Поэтому для SaaS-режима AX нельзя делать сильные выводы о privacy-политике только на основании этой карточки.

Плюсы и минусы

Плюсы

• Open-source и self-hosted без usage limits. Это редкий случай, когда официальный self-hosted режим заявлен без license fees, feature limitations и лимитов использования.
• Стандартизированная инструментация. Phoenix построен на OpenTelemetry и OpenInference, что упрощает переносимость и снижает риск жёсткой привязки к одному формату телеметрии.
• Широкий охват задач. В одном продукте сочетаются tracing, evals, prompt engineering, datasets и experiments.
• Подходит для изолированных контуров. Возможность fully air-gapped deployment полезна для компаний с жёсткими требованиями к данным.
• Есть официальный путь от traces к evals. Quickstart прямо описывает цикл: собрать spans, превратить их в dataframe, выполнить async_evaluate_dataframe и вернуть annotations в интерфейс.

Минусы

• Быстро меняющийся продукт. В release notes для Phoenix v14 зафиксированы breaking changes: subcommand-first CLI, removal of the legacy client, removal of /v1/evaluations и removal of evals 1.0.
• Версии могут путать. В пакете отдельно фигурируют GitHub release v20.2.1, версии Python/TypeScript-пакетов и версия docs; сами источники предупреждают, что это не всегда один к одному.
• Retention по умолчанию опасен для production. Значение 0 означает бесконечное хранение без автоочистки, а это нужно осознанно менять на этапе deployment.
• AX жёстко ограничен квотами. Даже Pro-план в verified pricing даёт 50k spans/месяц и 30 days retention, что может быстро стать узким местом.
• Неполная прозрачность этой карточки по SaaS-приватности и РФ. В source pack нет Privacy Policy, подтверждённых способов оплаты и статуса доступности для РФ.

Доступность и язык

• Платформы: по официальным источникам подтверждены web UI, trace collector и self-hosted deployment для Phoenix; AX фигурирует как managed SaaS. Десктопные или мобильные клиенты в пакете не подтверждены.
• SDK и языки интеграции: в quickstart и release notes подтверждены Python-пакеты arize-phoenix-evals, arize-phoenix-client, arize-phoenix-otel, а также TypeScript-пакет @arizeai/phoenix-evals для tool evaluators.
• Русский язык: наличие русского интерфейса или локализации в предоставленных источниках не подтверждено.
• Доступность для РФ: по supplied sources не подтверждено, работает ли сервис без VPN, ограничена ли оплата и какие регионы доступны.
• Способы оплаты: в пакете не подтверждены. Для Enterprise указано только, что возможны SaaS- или self-hosted-модели и add-on для data residency/multi-region.

Практический вердикт: если вам нужен контролируемый observability/evals-контур в своей инфраструктуре, начинать логичнее с Phoenix. Если нужен managed SaaS, AX стоит брать только после ручной проверки квот, retention, регионов и privacy-условий.

Альтернативы

Ограничение: в предоставленном source pack нет проверенных данных о независимых конкурентах Arize AI, поэтому я не добавляю неподтверждённый список «аналогов». Ниже — ближайшие варианты по задаче внутри экосистемы Arize.

• Arize Phoenix — если вам нужен именно open-source observability/evals backend с self-hosting, web UI и полным контролем над хранением данных.
• Arize AX — если вы хотите managed SaaS для AI agent observability and evaluation и готовы работать в рамках plan quotas.
• OpenInference — если нужна стандартизированная инструментация для framework/provider-стека, включая retrieval из vector stores и tracing внешних tools, но не нужен готовый backend/UI.
• LibreEval — если ваша задача уже не observability-платформа, а benchmark/dataset для оценки RAG hallucination detection.

Если вы подбираете не observability-слой, а storage для retrieval, полезнее начать с карточки Chroma. А если нужен более широкий список OSS-инструментов вокруг AI-стека, посмотрите подборку 7 лучших open-source AI-инструментов.

Источники

• Release Notes – Phoenix
• Arize AX – Arize AX Docs
• LLM Observability 101 – Arize AI
• The Definitive Guide to LLM Evaluation

• What is Arize Phoenix? – Phoenix
• Get Started: Evaluations – Phoenix
• Setup OTEL – Phoenix
• What is my Phoenix Endpoint? – Phoenix
• Self-Hosting – Phoenix
• Architecture – Phoenix
• Data Retention – Phoenix
• Release Notes – Phoenix v14 breaking changes
• Arize AX Pricing: AI agent observability and evaluation – Arize AI
• Releases · Arize-ai/phoenix · GitHub
• GitHub – Arize-ai/openinference
• LibreEval: The Open-Source Benchmark for RAG Hallucination Detection – Arize AI

Вопросы и ответы

Можно ли использовать Arize AI полностью локально?

Да, по официальным self-hosting docs Phoenix можно развернуть бесплатно и даже в fully air-gapped режиме. Для AX в предоставленных источниках такого же полного набора условий не подтверждено.

Это векторная БД?

Нет, по verified docs Phoenix и OpenInference покрывают observability, tracing и evals, включая наблюдение retrieval из vector stores. Для хранения эмбеддингов и поиска нужен отдельный storage-layer.

Сколько стоит Arize AI?

На 15.08.2026 Phoenix self-hosted описан как бесплатный и без usage limits. AX Free стоит $0/месяц с 25k spans и 15 days retention, AX Pro — $50/месяц с 50k spans и 30 days retention.

Нужно ли следить за версиями перед интеграцией?

Да. Release notes для Phoenix фиксируют breaking changes, а в пакете отдельно фигурируют версии GitHub release, SDK и docs. Перед релизом лучше перепроверять точную пару пакетов и документации для вашего integration path.