Weights & Biases Weave — LLM observability и evals

✅ Подходит: командам, которым нужна наблюдаемость для LLM-приложений и агентов: трассы вызовов, evals, хранение промптов, датасетов и дашбордов в одном проекте. ❌ Не подходит: тем, кому нужна полностью локальная схема без зависимости от аккаунта W&B или полная функциональная паритетность TypeScript SDK с Python. 💡 Ключевое преимущество: Weave из коробки пишет Call с входами, выходами, latency, token usage и cost, а потом показывает это в Traces UI.

Разработчик: Weights & Biases
Тип: web + SDK/API, managed cloud, dedicated cloud, self-managed
Официальный URL: docs.wandb.ai/weave
Дата проверки: 14.08.2026
Актуальность релизов: в публичных release notes видна Weave SDK 0.52.37 от 17.04.2026; для W&B Python SDK — 0.28.1 от 16.07.2026.

Что умеет

• Позиционируется как платформа observability и evaluation для создания надёжных агентов и LLM-приложений.
• Даёт Python SDK и TypeScript SDK; при этом в TypeScript, по официальной документации, недоступны некоторые продвинутые возможности вроде class-based Models и Scorers.
• После инициализации проекта может записывать каждый запрос как Call с входами, выходами, latency, token usage и cost.
• Поддерживает автотрейсинг для большого списка провайдеров и фреймворков, включая OpenAI, Anthropic, Bedrock, Cohere, Google, Groq, Hugging Face Hub, LiteLLM, Azure, MistralAI, NVIDIA NIM, OpenRouter, Together AI, local models, LangChain, LlamaIndex, Haystack, DSPy, Instructor, CrewAI, Smolagents, PydanticAI, Google ADK, AutoGen, Verdict, Vercel AI SDK, Agno, Koog и MCP.
• Позволяет вручную описывать Ops, если библиотека не autopatched.
• Организует в проекте traces, prompts, evaluations, models, datasets и dashboards.

Как использовать

1. Создайте аккаунт W&B. Для текущего quickstart также нужен Python 3.8+ или Node.js 18+, установленные пакеты weave и openai, а также OpenAI API key.
2. В коде импортируйте Weave и создайте проект через weave.init('my-team/my-llm-app'). Проект можно использовать как контейнер для трасс, evals и связанных артефактов.
3. Оберните важные функции в @weave.op(), чтобы Weave начал записывать вызовы. Если библиотека не поддерживает autopatching, используйте manual Ops.
4. Запустите ваш сценарий вызова модели. По документации, Weave зафиксирует входы, выходы, latency, token usage и cost как отдельные Calls.
5. Проверьте результат в панели Traces в UI: там можно инспектировать input, output, latency и token usage.

import weave

weave.init('my-team/my-llm-app')

@weave.op()
def run_prompt(prompt):
    # ваш вызов модели
    return ...

Практически это удобно, если вы одновременно отлаживаете качество, стоимость и поведение цепочек. Если вы сравниваете стек на hosted API и собственные модели с открытыми весами, сначала полезно пройтись по разнице между подходами в материале open weights vs closed API.

Тарифы и ограничения

Проверено: 14.08.2026 по официальной pricing page.

Важное ограничение: Weave data ingestion, W&B Inference и storage тарифицируются отдельно ежемесячно по факту. В публичном наборе источников нет второго независимого официального прайс-листа с полной детализацией доплат, поэтому перед закупкой стоит перепроверить ingest/storage по актуальной comparison table.

По поддержке: Standard support указан как включённый без доплаты; Standard/Standard Plus привязаны к business-hours coverage, Premium — к 24/7 coverage. Размер fees может зависеть от deployment option и размера инстанса.

Работа с данными и приватность

• Что видит сервис: в документированном потоке Weave записывает Calls с входами, выходами, latency, token usage и cost. Для LLM-команд это значит, что в систему могут попадать тексты промптов, ответы модели и эксплуатационные метрики.
• Как организуются данные: проект в Weave служит контейнером для traces, prompts, evaluations, models, datasets и dashboards.
• Где размещается платформа: Multi-tenant Cloud описан как fully managed платформа в Google Cloud North America. Dedicated Cloud доступен на AWS, Google Cloud и Azure. Для self-managed инстансов документация отдельно упоминает ingest sampling.
• Безопасность и комплаенс: платформа описана как SOC 2 Type II; Dedicated Cloud обозначен как HIPAA-compliant.
• Использование данных для обучения: в проверенном наборе источников нет прямого утверждения «да/нет/опционально» именно для обучения на данных клиента, поэтому этот пункт нельзя подтвердить без отдельной privacy policy.
• Ссылка на privacy policy: в предоставленном source pack отдельная privacy policy не дана. Чтобы не подставлять неподтверждённый URL, в этой карточке ссылка не приводится.

Редакционное ограничение: блок приватности здесь опирается на документацию по deployment и security, а не на отдельную privacy policy. Если для вас критичны условия обработки данных, эту часть нужно отдельно проверить у W&B перед внедрением.

Плюсы и минусы

Плюсы

• Из коробки пишет полезные для эксплуатации поля: input, output, latency, token usage и cost.
• Широкое официальное покрытие интеграций по провайдерам и фреймворкам, плюс manual Ops как запасной путь.
• Проекты помогают держать в одном месте traces, prompts, evaluations, models, datasets и dashboards.
• Есть несколько вариантов развёртывания: multi-tenant cloud, dedicated cloud и self-managed сценарии.
• На Free плане уже заявлены tracing, evals и scorers, то есть начать можно без платной подписки.

Минусы

• TypeScript SDK функционально не полностью равен Python: class-based Models и Scorers там недоступны.
• Документированный quickstart требует аккаунт W&B и OpenAI API key, то есть «совсем без внешних зависимостей» старт не получится.
• Полная стоимость может заметно отличаться от базовой цены плана, потому что ingestion, inference и storage считаются отдельно.
• Для regulated-команд важные опции вроде single-tenant, region choice, CMK и audit logs уходят в Enterprise с кастомной ценой.
• В публичных release notes нет одной канонической страницы со всей старой историей релизов Weave: документация отдельно оговаривает, что версии старше 0.52.20 вынесены в GitHub Releases.
• W&B Python SDK 0.28.1 требует protobuf v5+ и несовместим с W&B Server v0.69.x и старше, что важно для команд со старым серверным контуром.

Доступность и язык

• Платформы: web-интерфейс Weave, Python SDK, TypeScript SDK; для quickstart указаны Python 3.8+ или Node.js 18+.
• Развёртывание: managed multi-tenant cloud, dedicated cloud на AWS/GCP/Azure и self-managed сценарии.
• Русский язык: в проверенных источниках нет подтверждения отдельного русского интерфейса или русской локализации.
• Доступность для РФ: в официальных источниках из этого набора нет отдельного статуса по работе из РФ, оплате из РФ или необходимости VPN. Честный вывод: это нужно проверять отдельно, без обещаний «работает без VPN».
• Оплата: pricing page подтверждает наличие платных планов и кастомных enterprise-контрактов, но конкретные способы оплаты в source pack не раскрыты.

Если вы параллельно строите собственный стек оценки моделей и вам важны термины вроде bias или различие между epoch, batch и iteration, Weave полезен не как замена этим понятиям, а как слой наблюдаемости поверх реальных экспериментов.

Альтернативы

В этом проходе проверки редакция не подтверждала прямых внешних конкурентов. Поэтому ниже — ближайшие официально описанные варианты и соседние решения внутри экосистемы W&B, плюс один архитектурный маршрут выбора.

• W&B Inference — вариант для hosted model calls, которые затем можно трассировать и оценивать в Weave; полезен, если вы хотите меньше возиться с собственным слоем вызовов моделей.
• W&B Enterprise / Dedicated Cloud — не столько альтернатива по функциям, сколько вариант для regulated-команд, которым нужны single-tenant deployment, выбор региона, HIPAA, private connectivity, CMK, SSO и audit logs.
• W&B Personal / local self-managed deployment — путь для индивидуального или локального использования, если вы готовы брать на себя инфраструктуру и поддержку; важно помнить, что corporate use на Personal не разрешён.
• Стек на open weights — если вы сознательно уходите от закрытых API и строите собственный контур трассировки вокруг моделей с открытыми весами, начните с глоссария Open Weights и сравнения open weights vs closed API.

Практический вердикт

Если вам нужен рабочий слой LLM observability без сборки всего с нуля, Weave выглядит прагматичным вариантом: есть официальный SDK, широкий список интеграций, Traces UI и evals в одном продукте. Но закупать его стоит только после двух проверок: во-первых, посчитать реальные доплаты за ingestion/storage, во-вторых, отдельно согласовать требования по приватности и региону хранения данных.

Если у вас жёсткие требования к локальности данных, формальному privacy review или полной автономности от аккаунта вендора, текущего публичного набора источников недостаточно, чтобы рекомендовать внедрение без дополнительного due diligence.

Источники

• Weights & Biases deployment guide
• GitHub – wandb/wandb: The AI developer platform for machine learning developers.
• GitHub – wandb/docs: The product documentation for Weights & Biases, published at https://docs.wandb.ai

• What is Weave? — Weights & Biases Documentation
• Quickstart: Track LLM inputs & outputs — Weights & Biases Documentation
• Integrations overview — Weights & Biases Documentation
• Manage Weave projects — Weights & Biases Documentation
• Deployment options and security features — Weights & Biases Documentation
• Weave SDK releases — Weights & Biases Documentation
• W&B SDK releases — Weights & Biases Documentation
• Explore Weights & Biases pricing plans
• Support — Weights & Biases
• Weights & Biases customer support policy
• Understanding the SLA for Weights & Biases services
• GitHub — wandb/weave

Вопросы и ответы

Можно ли использовать Weave только с Python?

Нет, официально есть Python и TypeScript SDK. Но документация отдельно предупреждает, что часть продвинутых функций, например class-based Models и Scorers, в TypeScript SDK недоступна.

Что именно видно в трассах?

В quickstart и integrations guide указаны input, output, latency, token usage и cost. В UI это проверяется через панель Traces.

Сколько стоит Weave?

На pricing page указаны Personal $0/месяц, Free $0/месяц, Pro от $60/месяц и Enterprise с индивидуальным расчётом. Отдельно нужно учитывать доплаты за Weave data ingestion, W&B Inference и storage.

Можно ли поставить в своём контуре?

Да, в официальных материалах описаны self-managed сценарии; для self-managed инстансов отдельно упоминается ingest sampling. Но в таком варианте инфраструктурная и эксплуатационная ответственность смещается на вас.

Есть ли подтверждённая информация о доступности из РФ?

В проверенном наборе официальных источников отдельного статуса для РФ нет. Поэтому честный ответ — доступ и оплату из РФ нужно перепроверять самостоятельно перед внедрением.