TGI (Text Generation Inference, HF) — сервер инференса LLM от Hugging Face
TGI — сервер инференса LLM от Hugging Face. На 14.08.2026 он в maintenance mode, а репозиторий архивирован. Ниже — что...
Тема COMRAD404
ИИ-инструменты: Запуск моделей на своём сервере
3 материалов
OpenLLM (BentoML) — self-hosted OpenAI-совместимый API для open-source LLM
OpenLLM от BentoML — CLI-инструмент для локального или облачного запуска open-source и кастомных LLM как OpenAI-совместимого API. Подходит командам, которым...
llama.cpp — inference-движок для локального запуска LLM
llama.cpp — MIT-licensed проект ggml-org для inference LLM на C/C++. В карточке: способы установки, пример запуска через CLI и server,...