Как настроить Text Generation WebUI (oobabooga)

После выполнения этой инструкции вы запустите локальный TextGen (проект, который в экосистеме всё ещё часто называют Text Generation WebUI или oobabooga) на http://127.0.0.1:7860, положите GGUF-модель в правильную папку и, при необходимости, включите API с документацией на http://127.0.0.1:5000/docs.

Практический вердикт: если вам нужен быстрый локальный запуск GGUF, начинайте с one-click installer или portable build. Если нужны дополнительные backend-ы, обучение, extensions или image generation, официальный README рекомендует full install. Ниже — основной воспроизводимый путь с явным включением API: portable Python-режим.

• ⏱️ Время: зависит от способа установки; в официальных источниках точная оценка не указана.
• 🎯 Сложность: средний.
• 💰 Стоимость: официальная цена в supplied источниках не указана.
• 🛠️ Что потребуется: Windows, Linux или macOS; официальные файлы проекта oobabooga/textgen; GGUF-модель для локального запуска; для Docker — Docker Compose v2.17+ и, для NVIDIA, NVIDIA Container Toolkit; для full install — Conda и Python 3.13.
• 📌 Актуальная версия: README репозитория oobabooga/textgen, wiki и release v4.7.3, актуальность проверена по официальным материалам на 2026-08-15.

Редакционное ограничение: в supplied источниках зафиксированы официальные способы запуска, флаги, каталоги и адреса проверки, но не дано полного покадрового описания всех экранов интерфейса выбора модели. Поэтому инструкция фиксирует только то, что можно надёжно воспроизвести по официальным материалам без догадок: способ установки, папку моделей, запуск WebUI и проверку API.

Какой способ установки выбрать

Если ваша цель — именно настроить Text Generation WebUI локально и сразу получить API, самый прозрачный путь по supplied источникам — portable Python-режим, потому что официальный README прямо показывает команду запуска с --api.

Пошаговая настройка через portable Python-режим

1. Откройте официальный репозиторий oobabooga/textgen.

   В текущем README проект представлен как TextGen. Старое название Text Generation WebUI / oobabooga всё ещё встречается, но актуальные инструкции по установке и запуску находятся именно в этом репозитории.

   Ожидаемый результат: вы работаете с актуальной официальной инструкцией, а не со старым гайдом или форком.

2. Подготовьте portable-окружение.

   Для ручного portable-способа README предписывает создать venv и установить зависимости из requirements/portable/requirements.txt. Это основной путь, если вы хотите запускать сервер с явными флагами и контролировать локальное окружение.

   Ожидаемый результат: локальное Python-окружение подготовлено для запуска server.py.

3. Скопируйте GGUF-модель в user_data/models.

   Для GGUF-моделей официальный README указывает ровно эту папку. Интерфейс автоматически обнаруживает файлы, лежащие в user_data/models.

   Ожидаемый результат: модель находится в стандартном каталоге проекта и не требует ручного указания пути в конфигурации.

4. Запустите сервер с WebUI и API.

   Официальный пример для portable-режима выглядит так:

   python server.py --portable --api --auto-launch

   Флаг --api включает API. В supplied источниках именно этот флаг указан как официальный способ активации API.

   Ожидаемый результат: сервер стартует, а локальный интерфейс и API становятся доступны для проверки.

5. Откройте локальный интерфейс по адресу http://127.0.0.1:7860.

   README и Docker-инструкция используют этот адрес как стандартную проверку WebUI. Если вы выбрали one-click installer вместо portable Python-режима, итоговый адрес тот же — http://127.0.0.1:7860.

   Ожидаемый результат: интерфейс открывается локально. В portable builds v4.7.3 он может открываться как нативное окно на базе Electron.

6. Проверьте документацию API на http://127.0.0.1:5000/docs.

   Wiki по OpenAI API указывает этот адрес как точку проверки. Если нужен сетевой доступ, используются параметры --listen; для публичного API wiki отдельно упоминает --public-api.

   Ожидаемый результат: страница /docs открывается, значит API-слой отвечает.

Если вам нужен one-click, portable build или Docker вместо Python-окружения

One-click installer. Используйте официальный стартовый скрипт под вашу ОС: start_windows.bat, start_linux.sh или start_macos.sh. После установки проверяйте WebUI на http://127.0.0.1:7860.

Portable builds. В release v4.7.3 доступны self-contained packages для Windows, Linux и macOS, а также варианты по backend-ам: CUDA 12.4/13.1, Vulkan, ROCm и CPU. Для серверного режима release предлагает запускать textgen или textgen.bat, а также использовать --listen или --nowebui.

Docker. Если вам нужен контейнерный запуск, официальный быстрый старт такой:

docker compose up --build

Официальные условия: Docker Compose v2.17+; для NVIDIA — NVIDIA Container Toolkit. Проверка та же: http://localhost:7860. Модели и настройки хранятся в user_data/, то есть данные сохраняются вне самой логики контейнера.

Как проверить, что всё работает

• WebUI доступен: откройте http://127.0.0.1:7860 или, для Docker, http://localhost:7860.
• API включён: откройте http://127.0.0.1:5000/docs. Если страница не открывается, сервер, вероятно, запущен без --api.
• Каталог моделей настроен правильно: GGUF-файл находится в user_data/models, и README указывает, что интерфейс автоматически обнаруживает модели в этой папке.
• Вы выбрали подходящий режим установки: если вам нужна image generation, используйте full install, потому что portable .zip builds для этого не подходят.

Ограничение проверки: supplied источники не фиксируют точные названия всех элементов UI для выбора модели и запуска генерации внутри экрана, поэтому надёжная проверка в этой статье ограничена доступностью WebUI, API и корректным расположением модели.

Частые ошибки и исправления

• ❌ Ошибка: интерфейс не открывается на http://127.0.0.1:7860.
  ✅ Решение: проверьте, что вы используете один из официальных способов запуска: one-click installer, portable build, full install или Docker. Для portable Python-режима используйте официальный запуск python server.py --portable --api --auto-launch.
• ❌ Ошибка: GGUF-модель не подхватывается.
  ✅ Решение: проверьте, что файл лежит именно в user_data/models. Это официальный каталог для GGUF-моделей в README.
• ❌ Ошибка: страница http://127.0.0.1:5000/docs не открывается.
  ✅ Решение: перезапустите сервер с флагом --api. Если нужен сетевой доступ, используйте --listen; если нужен публичный API, wiki отдельно указывает --public-api.
• ❌ Ошибка: вы пытаетесь использовать portable .zip build для image generation.
  ✅ Решение: официальный Image Generation Tutorial указывает, что image generation не работает с portable .zip builds и требует full version.
• ❌ Ошибка: Docker-запуск на NVIDIA не использует GPU или не стартует корректно.
  ✅ Решение: проверьте официальные условия: Docker Compose v2.17+ и установленный NVIDIA Container Toolkit.
• ❌ Ошибка: выбрана неподходящая portable-сборка.
  ✅ Решение: в release v4.7.3 отдельно перечислены сборки для CUDA 12.4/13.1, Vulkan, ROCm и CPU. Выбирайте вариант под вашу ОС и backend.

Безопасность и ограничения

• API по умолчанию не надо выводить в сеть без необходимости. Для сетевого доступа wiki использует --listen, а для публичного API — --public-api. Это уже не режим только для localhost.
• Portable и full install решают разные задачи. README прямо отделяет full install для дополнительных backend-ов, обучения, image generation и extensions.
• Полный install тяжелее по ресурсам. README отдельно отмечает загрузку PyTorch и ориентир около 10 GB диска.
• Portable builds обновляются заменой версии и переносом данных. Официальный порядок для portable-установки: скачать и распаковать новую версию, затем заменить папку user_data. Release также допускает хранить user_data уровнем выше для нескольких установок.
• Актуальные минимальные системные требования в supplied свежих источниках не зафиксированы. В source pack отдельно отмечено, что страница System requirements в wiki датирована 2023 годом и может не отражать текущий минимум.
• Региональная доступность и платные облачные варианты не описаны. Официальные материалы из source pack покрывают локальный запуск и инфраструктуру, но не дают полной картины по облачным сценариям.

Что делать дальше

• Сравните локальные сценарии перед миграцией: Text Generation WebUI vs LM Studio: что выбрать.
• Подключите локальную модель к редактору: как настроить Continue.dev в VS Code.
• Соберите поверх локального LLM retrieval-пайплайн: как настроить RAG с LlamaIndex.
• Если вам нужен агентный сценарий, посмотрите как настроить агента в n8n с ИИ.
• Если кроме текста нужна локальная генерация изображений, изучите как установить и запустить Stable Diffusion WebUI.

Источники

• GitHub – oobabooga/textgen
• Release v4.7.3 · oobabooga/textgen
• Releases · oobabooga/textgen
• 09 ‐ Docker · oobabooga/textgen Wiki · GitHub
• 12 ‐ OpenAI API · oobabooga/textgen Wiki · GitHub
• Image Generation Tutorial · oobabooga/textgen Wiki · GitHub

Вопросы и ответы

Это всё ещё Text Generation WebUI или уже TextGen?

В текущем официальном README проект представлен как TextGen, но в экосистеме всё ещё встречаются старые названия Text Generation WebUI и oobabooga. Для актуальных инструкций ориентируйтесь на репозиторий oobabooga/textgen.

Куда класть GGUF-модели?

Официальный README указывает каталог user_data/models. Интерфейс автоматически обнаруживает GGUF-файлы, лежащие в этой папке.

Как включить API?

API включается флагом --api. Для проверки откройте http://127.0.0.1:5000/docs. Для сетевого доступа wiki указывает --listen, а для публичного API — --public-api.

Подойдут ли portable builds для image generation?

Нет. Официальный Image Generation Tutorial прямо указывает, что image generation не работает с portable .zip builds и требует full version.

Когда вместо локального Python лучше использовать Docker?

Когда вам нужен воспроизводимый контейнерный запуск или инфраструктурный сценарий. Официальная Docker-инструкция требует Docker Compose v2.17+ и, для NVIDIA, NVIDIA Container Toolkit; быстрый старт выполняется командой docker compose up --build.