Ollama — локальный runtime для LLM и API на localhost
Ollama — инструмент для локального запуска LLM на macOS, Windows и Linux с CLI, API на localhost и облачными моделями....
Тема COMRAD404
ИИ-инструменты: сервинг моделей
2 материалов
vLLM — open-source движок инференса и сервинга LLM
vLLM — self-hosted движок для инференса и сервинга больших языковых моделей. Подходит тем, кому нужен OpenAI-совместимый API и контроль над...