TextGen (бывший text-generation-webui / oobabooga) — локальный интерфейс и API для LLM
TextGen, ранее text-generation-webui / oobabooga, — локальный desktop-интерфейс и API для LLM. В карточке: актуальный релиз v4.9, способы установки, поведение...
Тема COMRAD404
ИИ-инструменты: инфраструктура
2 материалов
llama.cpp — inference-движок для локального запуска LLM
llama.cpp — MIT-licensed проект ggml-org для inference LLM на C/C++. В карточке: способы установки, пример запуска через CLI и server,...