Короткий ответ

Да, LLM можно запустить локально через LM Studio: установить приложение, скачать совместимую модель в формате GGUF, загрузить её в чат или локальный сервер и подобрать параметры под объём памяти вашего компьютера. Для обычного ноутбука без дискретной видеокарты разумно начинать с 3B-8B instruct-моделей; на машине с 16-32 ГБ ОЗУ уже можно получить полезный офлайн-чат, суммаризацию, извлечение фактов и локальный API для скриптов. Этот способ не подходит, если вам нужен уровень лучших облачных моделей, очень длинный контекст на слабом железе, стабильная многопользовательская нагрузка, обучение модели или продакшн-сервис с жёсткими требованиями по отказоустойчивости.

Критичен не только сам LM Studio, а связка из трёх вещей: тип модели, квантование и объём доступной памяти. Если взять слишком большую модель, base-версию вместо instruct или завысить контекст, приложение запустится, но скорость, стабильность или качество будут неудовлетворительными.

Что понадобится

Для первого запуска нужен не обязательно мощный GPU, а правильный стартовый набор и реалистичные ожидания.

LM Studio — приложение для локального запуска моделей. Официальный сайт: https://lmstudio.ai/.
Интернет для первой загрузки — сама инференс-часть после скачивания модели может работать офлайн.
Свободное место на диске — обычно от нескольких до десятков гигабайт под модели, кэш и дополнительные версии квантования.
ОЗУ — для старта с 7B-9B квантованной моделью практичнее иметь 16 ГБ и выше; для 14B чаще уже нужен запас 24-32 ГБ.
GPU — необязателен, но полезен для скорости. На Apple Silicon ориентируйтесь на общий объём unified memory, а не только на формальную видеопамять.
Подходящая модель — лучше искать instruct или chat вариант в формате GGUF. Каталог моделей: https://huggingface.co/.

Ориентир по размеру модели для первого запуска:

Класс модели	Когда брать	Ориентир по памяти	Комментарий
1B-3B	Очень слабый ПК, быстрые утилитарные задачи	от 8 ГБ ОЗУ	Подходит для простых команд и черновиков, но быстро упирается в качество.
7B-9B	Первый универсальный запуск	от 16 ГБ ОЗУ	Наиболее практичный старт для локального чата, суммаризации и базового API.
14B	Нужны более стабильные ответы	24-32 ГБ ОЗУ	На CPU может работать заметно медленнее; GPU или Apple Silicon сильно помогают.
30B+	Эксперименты на мощной машине	48 ГБ+ или сильный GPU	Не лучший первый выбор для обычного ПК и первого знакомства с LM Studio.

Эти ориентиры зависят от квантования и размера контекста. Один и тот же класс модели может вести себя по-разному в Q4 и Q8, а попытка поднять контекст до максимума часто ломает весь расчёт по памяти.

Берите instruct/chat-версию, а не base. Base-модель хуже следует инструкциям и часто создаёт впечатление, что установка прошла неправильно.
Начинайте с Q4_K_M или Q5_K_M. Это частый компромисс между размером, скоростью и качеством.
Не гонитесь за максимальным контекстом. Для первого запуска обычно достаточно умеренного значения.
Проверяйте лицензию, если модель нужна для коммерческого применения внутри компании или продукта.

Пошаговый план

Установите LM Studio

Скачайте приложение с официального сайта и установите его как обычную настольную программу. При первом запуске LM Studio предложит каталог для моделей. Если системный диск небольшой, сразу вынесите модели на отдельный раздел: это избавит от дальнейших переносов и ошибок из-за нехватки места.
Оцените ресурсы компьютера и выберите стартовый размер модели

Если у вас 8 ГБ ОЗУ и нет GPU, не начинайте с 14B и тем более с 30B. На слабой машине стартуйте с 1B-3B или компактной 7B-квантовкой, если память позволяет. Если у вас 16 ГБ ОЗУ, чаще всего разумный первый выбор — 7B-9B instruct в GGUF. При 24-32 ГБ можно пробовать 14B. Смысл шага в том, чтобы сначала добиться устойчивой работы, а не сразу максимального качества.
Найдите правильную модель

В каталоге LM Studio или в совместимом репозитории ищите именно instruct или chat версии. Для локального использования удобен формат GGUF: он рассчитан на запуск через локальные рантаймы и обычно уже доступен в квантованных вариантах. Если видите несколько файлов одной модели, не берите самый большой автоматически. Для первого теста лучше скачать Q4_K_M или Q5_K_M. Более тяжёлые варианты иногда дают немного лучшее качество, но требуют заметно больше памяти.

Ещё один критерий — назначение модели. Если вам нужен текстовый помощник общего профиля, не начинайте с узкоспециализированной модели под код, математику или один язык, если это не ваш сценарий. Для рабочих черновиков, резюме документов и вопросов по тексту универсальная instruct-модель обычно полезнее.
Скачайте модель и загрузите её в рантайм

После загрузки откройте модель в LM Studio и дождитесь инициализации. На этом этапе приложение распределяет память, подготавливает рантайм и, если возможно, включает ускорение на GPU. Если модель не открывается или инициализация висит слишком долго, первая проверка простая: не завышен ли размер модели для вашей памяти и не запущены ли параллельно тяжёлые приложения.
Поставьте консервативные параметры запуска

Для первого запуска не пытайтесь сразу выжать максимум. Оставьте автоматическое определение потоков и ускорения, а размер контекста задайте умеренный. Практически это важнее, чем тонкая настройка temperature или top_p. Большой контекст увеличивает расход памяти и ухудшает стабильность на слабых машинах. Если появятся ошибки нехватки памяти, первым делом уменьшайте контекст или переходите на более компактную квантовку, а не ищите проблему в самой программе.

Если LM Studio показывает настройки использования GPU, не стремитесь вручную выгрузить на видеокарту всё подряд. На неподходящем железе чрезмерный offload может дать обратный эффект. Для начала надёжнее автоматический режим.
Проверьте модель в чате

Первый тест лучше делать на короткой и проверяемой задаче. Например: попросите модель кратко пересказать абзац текста, вернуть структуру документа списком или извлечь даты и имена. Так вы сразу видите, следует ли модель инструкции и не ломается ли формат ответа. Если первая же задача — открытое рассуждение на сложную тему, вы не отличите ограничения модели от ошибки запуска.

Если ответы бессвязные, проверьте три вещи: это точно instruct-модель, в памяти нет жёсткого дефицита, и вы не завысили контекст. На практике именно эти причины чаще всего создают впечатление, что локальная LLM работает хуже, чем должна.
При необходимости включите локальный сервер

LM Studio умеет поднимать локальный сервер, совместимый с OpenAI-подобным API. Это удобно, если вы хотите подключить модель к своему приложению, редактору, скрипту или тестовому пайплайну без отдельной серверной инфраструктуры. Запустите сервер уже после того, как убедились, что модель нормально отвечает в чате.

Базовая проверка обычно сводится к двум запросам:

GET http://127.0.0.1:1234/v1/models

POST http://127.0.0.1:1234/v1/chat/completions

Если список моделей отдаётся, а чатовый запрос возвращает осмысленный ответ, локальный API готов к работе. Помните, что это удобно для разработки и одиночного использования, но не равно полноценному продакшн-инференс-сервису.
Зафиксируйте рабочую конфигурацию

Когда найдёте сочетание модели и параметров, при котором всё стабильно работает, не переходите сразу к более тяжёлым вариантам. Зафиксируйте рабочую схему: какая модель, какое квантование, какой контекст и на какой машине. Это сэкономит время при следующем запуске и даст базовую точку сравнения, если позже захотите поднять качество за счёт более крупной модели.

Типичные ошибки

Скачали base-модель вместо instruct. Формально она запускается, но ответы часто выглядят сырыми и хуже следуют инструкции.
Выбрали слишком большую модель. Пользователи часто смотрят только на размер файла, но забывают про память, нужную на контекст и сам рантайм.
Сразу выкрутили контекст вверх. На слабом ПК это один из самых быстрых способов получить тормоза или ошибку инициализации.
Перепутали диск и память. Свободные десятки гигабайт на SSD не компенсируют нехватку ОЗУ во время инференса.
Ожидают от локальной 7B-модели поведения топовой облачной LLM. Локальный запуск даёт приватность и контроль, но не отменяет ограничений самой модели.
Пытаются оценить качество по одной длинной творческой задаче. Для первичной проверки лучше брать короткие и проверяемые запросы.
Считают локальный запуск автоматически продакшн-готовым. Для разработчика это удобно, но для постоянной многопользовательской нагрузки обычно нужен отдельный серверный стек.

Как проверить результат

Проверьте факт загрузки модели. Модель должна инициализироваться без аварийного закрытия, бесконечной загрузки и постоянного свопа на диск.
Проверьте использование ресурсов. Во время ответа смотрите на загрузку ОЗУ, CPU и, если доступно, GPU. Если память упирается в предел и система начинает тормозить целиком, модель для машины велика или контекст завышен.
Дайте короткий проверяемый запрос. Например: извлечь три даты из текста, вернуть список требований или сделать краткое резюме в пять пунктов. Так легче увидеть, что модель реально понимает инструкцию.
Проверьте формат ответа. Попросите выдать структурированный список или простой JSON. Если формат стабильно ломается, чаще проблема в модели, а не в LM Studio.
Если нужен API, проверьте эндпоинты. Запрос к /v1/models должен вернуть доступную модель, а запрос к /v1/chat/completions — осмысленный ответ. Только после этого подключайте редактор, бота или приложение.
Перезапустите приложение и повторите тест. Это покажет, что конфигурация стабильна, а не сработала случайно один раз.

Хороший результат для первого запуска — не максимальное качество, а предсказуемая работа: модель загружается, отвечает без падений, удерживает формат и не разрушает систему нехваткой памяти.

FAQ

Можно ли запустить LLM без видеокарты?

Да. LM Studio умеет работать и на CPU. Просто начните с более компактной instruct-модели и умеренного контекста. Без GPU скорость будет ниже, но для суммаризации, черновиков, извлечения фактов и локальных экспериментов этого часто достаточно.

Какую модель брать первой?

Если у вас около 16 ГБ ОЗУ, практичный старт — 7B-9B instruct в GGUF с квантованием уровня Q4_K_M или Q5_K_M. Если памяти меньше, начните с 1B-3B или другой компактной instruct-модели. Главный принцип: сначала стабильность, потом рост качества.

Почему модель отвечает медленно?

Обычно причина в одном из трёх факторов: модель слишком велика для вашего железа, контекст завышен, или приложение вынуждено работать в основном на CPU. Уменьшите размер модели, снизьте контекст и проверьте, использует ли рантайм доступное ускорение.

Можно ли работать полностью офлайн?

Да, после первой загрузки модели локальный инференс может идти без интернета. Но сами модели и обновления приложения нужно получить заранее. Если вы меняете модель или ставите новую версию, сеть снова понадобится.

Можно ли подключить LM Studio к своему приложению?

Да. Для этого и нужен локальный сервер с OpenAI-подобным API. Такой режим удобен для скриптов, IDE, тестовых RAG-пайплайнов и внутренних инструментов разработчика. Но для тяжёлой многопользовательской нагрузки это скорее инструмент разработки, а не полноценная серверная платформа.

Подходит ли LM Studio для обучения или дообучения моделей?

Нет, это не его основной сценарий. LM Studio удобен именно для локального инференса, тестирования промптов и быстрого доступа к модели на своей машине. Для fine-tuning и системного обучения нужен другой инструментарий и другой бюджет по ресурсам.

Как запустить LLM на своём компьютере через LM Studio