OpenLLM (BentoML) — self-hosted OpenAI-совместимый API для open-source LLM
OpenLLM от BentoML — CLI-инструмент для локального или облачного запуска open-source и кастомных LLM как OpenAI-совместимого API. Подходит командам, которым...
Тема COMRAD404
ИИ-инструменты: OpenAI-совместимый API
3 материалов
Jan.ai — локальный AI-клиент, CLI и API-сервер
Jan.ai — open-source экосистема для локальной работы с ИИ: desktop-приложение, CLI, OpenAI-совместимый API на вашем компьютере и self-hosted server stack....
vLLM — open-source движок инференса и сервинга LLM
vLLM — self-hosted движок для инференса и сервинга больших языковых моделей. Подходит тем, кому нужен OpenAI-совместимый API и контроль над...