Как использовать Jan.ai для локальных моделей

После выполнения этой инструкции у вас будет Jan Desktop с локальной моделью, которую можно запускать полностью на своём компьютере на macOS, Windows или Linux. При необходимости вы также включите локальный OpenAI-compatible API на http://127.0.0.1:1337 и проверите, что он отвечает.

Для локального использования Jan API-ключ не нужен: по официальному QuickStart локальные модели работают полностью на вашей машине.

Практический вердикт: если вам нужен самый простой GUI-сценарий для локальных моделей и локального API, начинайте с Jan Desktop и моделей из Hub. Для максимально широкой совместимости Jan обычно опирается на llama.cpp и GGUF; MLX имеет смысл выбирать только на Apple Silicon и с пониманием его ограничений.

Редакционное ограничение: в проверенном наборе источников есть точные данные по Hub, GGUF, llama.cpp, MLX, Local API Server и CLI, но не зафиксированы все названия кнопок для ручного импорта конкретной GGUF-модели из Hugging Face через интерфейс. Поэтому основной сценарий ниже использует самый воспроизводимый путь: установка Jan Desktop, авто-загрузка модели по умолчанию, загрузка модели через Hub и проверка локального API.

Пошаговая инструкция

1. Скачайте и установите Jan Desktop.

   Откройте официальную страницу загрузки Jan и выберите сборку под свою ОС: macOS Universal, Windows 64-bit или Linux в одном из вариантов Flatpak, AppImage или Deb. Установите приложение стандартным способом для вашей платформы.

   Ожидаемый результат: Jan установлен и готов к первому запуску.

2. Запустите Jan и дождитесь модели по умолчанию.

   Согласно официальному QuickStart, при первом запуске Jan автоматически скачивает модель по умолчанию. Не прерывайте этот этап и дождитесь завершения загрузки.

   Ожидаемый результат: в Jan появляется доступная локальная модель, с которой можно начать работу без ручного импорта.

3. Откройте Hub и выберите дополнительную модель, если стандартной недостаточно.

   Jan позволяет искать и загружать дополнительные локальные модели через Hub. Смотрите на отметку совместимости с вашим устройством: Fits — модель помещается на текущем железе; May be slow — вероятен запуск с более низкой скоростью; Won’t fit — этот вариант для вашего устройства не подходит.

   Если нужной модели нет в Hub, учитывайте ограничение формата: локальные модели в Jan обычно работают через llama.cpp и используют GGUF. Импорт из Hugging Face требует именно GGUF и может потребовать Hugging Face token; локальные файлы можно импортировать через настройки движка. Так как точные подписи всех кнопок импорта в проверенном наборе источников не зафиксированы, для первого запуска лучше брать модель из Hub.

   Ожидаемый результат: у вас есть как минимум одна совместимая локальная модель, отмеченная как Fits или, в тестовом сценарии, May be slow.

4. Откройте загруженную модель и отправьте ей тестовый запрос.

   Переключитесь на установленную локальную модель в рабочем окне Jan и отправьте простой запрос, например: Напиши три пункта, чем локальная модель отличается от облачной. Если ответ приходит, значит базовый локальный сценарий уже работает.

   Если вы используете Apple Silicon и хотите поэкспериментировать с MLX, помните: это экспериментальный движок только для Apple Silicon и macOS 14+, а embeddings в нём недоступны. Для более широкой поддержки моделей Jan рекомендует сценарий на llama.cpp/GGUF.

   Ожидаемый результат: модель отвечает в интерфейсе Jan без внешнего API-ключа.

5. Включите локальный API-сервер, если хотите подключать Jan к другим приложениям.

   Откройте Settings > Local API Server > Start Server. Официальная проверка из документации — дождаться строки лога JAN API listening at http://127.0.0.1:1337.

   Этот сервер предоставляет OpenAI-compatible REST API на http://127.0.0.1:1337. В проверенных источниках явно перечислены как минимум GET /v1/models, POST /v1/chat/completions и POST /v1/messages.

   Ожидаемый результат: в логах Jan видно, что API слушает 127.0.0.1:1337.

6. Проверьте API запросом к списку моделей.

   После запуска сервера выполните проверочный запрос из официального сценария:

   curl http://127.0.0.1:1337/v1/models

   Если Jan отвечает JSON-списком моделей, локальный API поднялся корректно. Дальше вы сможете подключать совместимые инструменты, которым нужен OpenAI-compatible endpoint. Учтите, что начиная с Jan v0.8.0 локальный движок llama.cpp работает через единый router-process: он загружает и выгружает модели по запросу, а не поднимает отдельный сервер на каждую модель.

   Ожидаемый результат: вы видите ответ от /v1/models и можете использовать Jan не только как GUI, но и как локальный API.

Как проверить, что всё работает

• Проверка интерфейса: Jan отвечает на ваш тестовый запрос в чате локальной моделью.
• Проверка сервера: после команды Settings > Local API Server > Start Server появляется лог JAN API listening at http://127.0.0.1:1337.
• Проверка endpoint-а: команда curl http://127.0.0.1:1337/v1/models возвращает список доступных моделей.
• Проверка совместимости: в Hub вы выбрали модель со статусом Fits или осознанно тестируете May be slow, а не Won’t fit.

Если вам нужен именно сценарий через API, а не только чат в интерфейсе, обязательным признаком успеха считайте не только ответ модели в Jan, но и рабочий ответ от /v1/models.

Частые ошибки и исправления

• Ошибка: вы скачали модель со статусом Won’t fit и Jan не может использовать её нормально.
  Решение: вернитесь в Hub и выбирайте модель со статусом Fits. Если нужен только быстрый тест, можно попробовать вариант May be slow, но без ожидания высокой скорости.
• Ошибка: вы пытаетесь импортировать модель не в формате GGUF.
  Решение: для локального сценария Jan обычно использует llama.cpp и формат GGUF. Для импорта из Hugging Face проверьте, что это именно GGUF; в некоторых случаях также нужен Hugging Face token.
• Ошибка: локальный API не отвечает на 127.0.0.1:1337.
  Решение: запустите сервер через Settings > Local API Server > Start Server и дождитесь строки JAN API listening at http://127.0.0.1:1337. Только после этого выполняйте curl к /v1/models.
• Ошибка: на Apple Silicon вы выбрали MLX и ждёте поддержку embeddings.
  Решение: в Jan MLX — экспериментальный движок, и embeddings там недоступны. Если нужна более широкая совместимость и стандартный путь, используйте llama.cpp/GGUF.
• Ошибка: при переключении между моделями устройство работает нестабильно или пытается тянуть слишком много одновременно.
  Решение: в настройках движка llama.cpp найдите параметр Max Concurrent Models и для более стабильной работы на одном устройстве установите значение 1.

Безопасность и ограничения

• Локальность: по официальной документации локальные модели Jan работают полностью на вашей машине, и для локального использования API-ключ не нужен.
• API по умолчанию локальный: проверенный desktop-сервер слушает http://127.0.0.1:1337. В этой инструкции не разбирается публикация сервера во внешнюю сеть.
• Форматы моделей: наиболее предсказуемый путь в Jan — модели через Hub или GGUF через llama.cpp. Для ручного импорта других форматов в проверенном наборе источников недостаточно данных.
• Ограничения MLX: только Apple Silicon, только macOS 14+, статус движка — экспериментальный, embeddings недоступны.
• Поведение движка: с Jan v0.8.0 llama.cpp работает через единый router-process, который загружает и выгружает модели по запросу.
• Стоимость и коммерческие условия: в проверенных источниках по Jan Desktop точные ценовые условия не указаны, поэтому их нужно сверять на официальных страницах.
• Лицензия: исходный проект Jan распространяется по Apache License 2.0.
• За пределами этой инструкции: Jan Server — отдельный self-hosted сценарий. Официальный quickstart для него требует Docker/Docker Compose, Make, Git и минимум 8 GB RAM, поэтому это уже не простой desktop-первый запуск.

Что делать дальше

• Сравните Jan с альтернативой в разборе LM Studio vs Jan.ai: что выбрать для локальных моделей и API.
• Если хотите лучше понимать базовый движок под капотом, пройдите инструкцию как использовать llama.cpp для запуска моделей.
• Если планируете использовать локальную модель в разработке, посмотрите практику как использовать Aider для парного программирования с AI.
• Для прикладного сценария в инженерной команде изучите инструкцию как использовать ИИ для код-ревью.

Источники

• Changelog
• How to run AI models locally as a beginner?
• janhq/server

• QuickStart
• Model Management
• llama.cpp Engine
• MLX
• API Reference
• Local API Server
• Jan CLI
• Download Jan for your desktop
• Releases · janhq/jan
• LICENSE

Вопросы и ответы

Нужен ли API-ключ, чтобы использовать Jan.ai локально?

Нет. В официальном QuickStart указано, что локальные модели работают полностью на вашей машине, а для локального использования API-ключ не нужен.

На каких ОС работает Jan Desktop?

На странице загрузки перечислены официальные сборки для macOS Universal, Windows 64-bit и Linux в вариантах Flatpak, AppImage и Deb.

Что выбрать на Mac: llama.cpp или MLX?

Если вам нужна максимально широкая поддержка моделей, держитесь сценария llama.cpp/GGUF. MLX в Jan экспериментальный, доступен только на Apple Silicon с macOS 14+ и не поддерживает embeddings.

Можно ли подключить к Jan внешнее приложение как к OpenAI-compatible API?

Да. Jan Desktop поднимает локальный OpenAI-compatible REST API на http://127.0.0.1:1337. В проверенных источниках перечислены GET /v1/models, POST /v1/chat/completions и POST /v1/messages.

Можно ли запускать Jan из терминала, а не только из интерфейса?

Да. Начиная с Jan 0.7.8 доступен Jan CLI: jan serve поднимает локальную модель на localhost:6767/v1, а jan launch запускает локальную модель и затем agent с автоматически выставленными переменными окружения. Модели, скачанные в Desktop, доступны и в CLI. Точные флаги команд сверяйте с официальной документацией CLI, потому что в этом материале мы разбирали desktop-сценарий.