OpenLLM (BentoML) — self-hosted OpenAI-совместимый API для open-source LLM

✅ Подходит: разработчикам и платформенным командам, которым нужен self-hosted запуск open-source или кастомных LLM как OpenAI-совместимого API. ❌ Не подходит: тем, кто ищет готовый SaaS с подтверждёнными тарифами, прозрачной managed-поддержкой и заранее описанной комплаенс-документацией. 💡 Ключевое преимущество: OpenLLM даёт CLI-first путь к локальному серверу с endpoint’ами /chat и /v1, плюс встроенный chat UI.

Если вы выбираете инструмент для сервинга модели и хотите строить стек вокруг открытых весов, OpenLLM закрывает именно слой запуска и API. По проверенным источникам это проект BentoML для self-hosting open-source LLM и кастомных моделей, а не отдельный коммерческий чат-сервис.

Разработчик: BentoML

Тип: API / self-hosted

Официальный URL: https://github.com/bentoml/OpenLLM

Дата проверки: 2026-08-14

Проверенная публичная запись релиза: на PyPI виден релиз 0.6.30 от 2025-04-21. Там же указаны требование Python >=3.9 и лицензия Apache-2.0.

Редакционное ограничение: в проверенном наборе источников нет отдельной подтверждённой pricing page для OpenLLM и нет отдельной подтверждённой Privacy Policy именно для этого инструмента. Если вам нужен закупочный, юридический или DPA-ответ, придётся дополнительно сверять текущие условия BentoML/BentoCloud и вашу собственную схему хранения данных.

Что умеет

• Запускать open-source LLM или кастомные модели как OpenAI-совместимый API.
• Поднимать локальный сервер через CLI-команду openllm serve.
• Отдавать интерфейс для чата и API endpoint’ы /chat и /v1 на локальном адресе http://localhost:3000 в базовом сценарии из README.
• Подключать официальный каталог моделей bentoml/openllm-models; ветка main используется по умолчанию.
• Разрешать подключение кастомных репозиториев через openllm repo add <repo-name> <repo-url>, но только если репозиторий публичный.
• Работать в логике BentoML-стека, где официальная документация описывает более широкий контекст деплоя, inference и OpenAI-совместимых LLM API.

Практически это инструмент для команд, которые уже понимают разницу между open-source и closed моделями и хотят контролировать свой inference-слой сами, а не покупать только готовый интерфейс.

Как использовать

Ниже — минимальный воспроизводимый workflow, который прямо следует из официального README.

1. Установите пакет:

pip install openllm

2. Проверьте, что CLI доступен:

openllm hello

3. Поднимите модель локально. В README показан пример:

openllm serve llama3.2:1b

4. После запуска используйте локальный адрес http://localhost:3000: для chat UI предусмотрен путь /chat, для совместимости с клиентами в стиле OpenAI — /v1.
5. Если вам нужна gated-модель из Hugging Face, заранее проверьте, требуется ли HF_TOKEN. Для таких моделей это условие явно указано в README.

Если вы хотите не только локальный запуск, но и полноценную схему выкладки open-source модели на сервер, посмотрите также практический материал как развернуть open-source LLM на сервере. OpenLLM закрывает удобный стартовый слой, но архитектурные решения вокруг сети, хранилища и доступа вы всё равно принимаете сами.

Тарифы и ограничения

По состоянию на 2026-08-14 в предоставленном официальном пакете источников нет подтверждённой страницы с тарифами OpenLLM. Поэтому ниже — не коммерческие планы, а то, что реально можно подтвердить по официальным страницам.

План	Цена	Лимиты
OpenLLM package (self-hosted)	Не указана в проверенных официальных источниках	На PyPI виден релиз 0.6.30 от 2025-04-21; требуется Python >=3.9; лицензия Apache-2.0.
Каталог openllm-models	Не указана	Ветка main подключена по умолчанию; nightly описана как более новая, но не протестированная.
Managed deployment / BentoML context	Не указана	В проверенных страницах нет подтверждённых цен, регионов и платёжных условий именно для OpenLLM/BentoCloud.

Дата проверки: 2026-08-14.

Ограничение проверки: правило двух источников для цены здесь выполнить нельзя, потому что в предоставленном официальном пакете нет отдельной pricing page OpenLLM.

Работа с данными и приватность

В self-hosted сценарии OpenLLM получает те запросы, которые вы отправляете в ваш локальный или развёрнутый endpoint — например, через /chat или /v1. Это означает, что фактическая приватность зависит не только от самого инструмента, но и от вашей инфраструктуры, сетевого контура, логирования и настроек доступа.

• Что видит сервис: входящие запросы к вашему запущенному endpoint’у и выбранную модель в рамках вашего сценария использования.
• Использование данных для обучения: не раскрыто в проверенном наборе источников именно для OpenLLM.
• Веса моделей: README отдельно говорит, что OpenLLM не хранит model weights.
• Gated-модели: для некоторых моделей нужен HF_TOKEN, то есть в контуре использования появляется зависимость от Hugging Face-доступа.
• Где хранятся данные: в проверенных источниках нет отдельного подтверждения для prompt storage, ретенции или региона хранения; в self-hosted сценарии это в значительной степени определяется вашей средой.
• Privacy Policy: отдельная подтверждённая ссылка именно для OpenLLM в предоставленном source pack отсутствует. Для общего инфраструктурного контекста доступна официальная документация BentoML: https://docs.bentoml.com/en/latest/.

Если для вас важны DPA, retention policy, журналирование запросов и регион хранения, считать OpenLLM «приватным по умолчанию» без собственного аудита нельзя. Проверенные источники подтверждают локальный и self-hosted характер инструмента, но не заменяют внутреннюю проверку безопасности.

Плюсы и минусы

Плюсы

• Есть официальный CLI-путь от установки до первого сервера: pip install openllm → openllm hello → openllm serve ....
• Поддерживается OpenAI-совместимый API, что упрощает интеграцию существующих клиентов и внутренних обвязок.
• Есть встроенный chat UI и локальный сценарий запуска на http://localhost:3000.
• Можно подключать кастомные репозитории моделей через openllm repo add.
• Есть официальный каталог openllm-models с предустановленным main и отдельным nightly для более новых вариантов.

Минусы

• Для gated-моделей требуется HF_TOKEN, то есть часть сценариев зависит от внешнего доступа и прав на Hugging Face.
• Кастомные репозитории через repo add поддерживаются только в публичном виде.
• В проверенном пакете источников нет подтверждённых тарифов и закупочных условий для managed-сценариев.
• Отдельная Privacy Policy именно для OpenLLM в предоставленных официальных источниках не подтверждена.
• Список моделей и содержимое репозиториев меняются часто; сами источники рекомендуют ориентироваться на живой каталог и актуальную команду openllm model list перед развёртыванием.

Доступность и язык

• Платформы: в проверенных источниках прямо подтверждён CLI-пакет openllm с требованием Python >=3.9. Отдельный официальный список ОС в source pack не подтверждён.
• Язык интерфейса: русский интерфейс OpenLLM в проверенных источниках не заявлен. Поддержка русского текста конкретной моделью зависит от выбранной вами модели и в этом материале не проверялась.
• Доступность для РФ: отдельный официальный статус для РФ в проверенных источниках не указан. На практике доступ к GitHub, PyPI, Hugging Face и возможным облачным компонентам зависит от вашей сети и провайдера оплаты; обещать работу «без VPN» или возможность оплаты нельзя.
• Способы оплаты: не подтверждены в предоставленном official source pack.

Практический вердикт: OpenLLM разумно рассматривать, если вы уже готовы сами отвечать за окружение, доступ к моделям и интеграцию. Если вам нужна закупка по понятному прайсу и заранее оформленные сервисные обязательства, одних проверенных страниц OpenLLM для такого решения недостаточно.

Альтернативы

В предоставленном наборе источников нет официального списка прямых конкурентов OpenLLM, поэтому ниже — не полный обзор рынка, а ближайшие варианты выбора и соседние пути в рамках того же сценария. Для procurement-сравнения этого блока недостаточно.

• BentoML — более широкий официальный контекст для inference, деплоя и OpenAI-совместимых LLM API; подходит, если вам нужен не только OpenLLM, но и более общий слой инфраструктуры.
• openllm-models — не замена рантайму, а официальный каталог совместимых моделей; полезен, если вы сначала хотите проверить сочетания моделей и версий.
• Как развернуть open-source LLM на сервере — практический маршрут, если вы склоняетесь к ручной сборке стека вместо опоры на OpenLLM CLI.
• Open-source vs closed модели — полезно прочитать до выбора инструмента, если вы ещё решаете, нужен ли вам вообще self-hosted стек вместо закрытого API.

Источники

• GitHub – bentoml/OpenLLM
• GitHub – bentoml/openllm-models
• openllm · PyPI
• BentoML documentation

Вопросы и ответы

Можно ли запустить OpenLLM локально?

Да. В официальном README показан локальный запуск через openllm serve llama3.2:1b, после чего сервер документирован на http://localhost:3000 с путями /chat и /v1.

Какая версия подтверждена официально при проверке?

На PyPI при проверке 2026-08-14 виден релиз 0.6.30 от 2025-04-21. Это последняя публичная запись релиза, подтверждённая в предоставленном source pack.

Нужен ли HF_TOKEN?

Для gated-моделей — да. Это прямо указано в README OpenLLM.

Есть ли подтверждённые тарифы OpenLLM?

Нет, в предоставленном официальном пакете источников отдельная pricing page OpenLLM не подтверждена. Поэтому закупочные выводы по цене делать рано.

Где смотреть актуальный каталог моделей?

В официальном репозитории bentoml/openllm-models и через живую команду openllm model list перед деплоем, потому что состав каталога обновляется.