Bonsai 2 27B: как запустить 27-миллиардную модель в 6 ГБ с помощью троичной квантизации Prism ML
Модель Bonsai 2 27B от Prism ML использует троичную квантизацию (PTQ1.0) для сжатия в 9 раз при почти без потерь...
Тема COMRAD404
llama.cpp
14 материалов
Nous Research упростила запуск локальных моделей: Hermes Desktop подбирает квантизацию и контекст за один клик
Nous Research представила обновление Hermes Desktop, которое автоматизирует подбор, загрузку и настройку локальных LLM под конкретное железо. Приложение само оценивает...
Локальные LLM в продакшене: что изменилось с выходом llama.cpp v0.5.0
Релиз llama.cpp v0.5.0 принес поддержку Flash Attention, Metal GPU и принципиально новую архитектуру для инференса на CPU/GPU. Разбираем, что это...
Автоматизация коммитов через LLM: разбор локальных утилит и безопасность пайплайна
Как настроить локальную генерацию описаний для git commit с помощью локальных моделей и CLI-утилит. Разбираем требования к безопасности кода, ограничения...
Как локальные LLM меняют разработку: обзор инструментов и практика запуска
Разбор актуальных инструментов для запуска локальных больших языковых моделей на потребительском «железе». Сравнение производительности, утилит для интеграции с IDE и...
Локальный запуск больших языковых моделей: обзор инструментов для разработчиков
Разбор актуальных утилит и сред для запуска открытых LLM на собственном железе: от Ollama и llama.cpp до vLLM и TensorRT-LLM...
Как локальные LLM меняют разработку: обзор инструментов и архитектур для запуска на собственном железе
Разбор актуального стека для запуска больших языковых моделей на локальных серверах и рабочих станциях: от Ollama и Llama.cpp до интеграции...
Локальные LLM в рабочих процессах: развертывание, аппаратные требования и ограничения
Разбор практического применения локальных языковых моделей в разработке и автоматизации: выбор оборудования, форматы квантования и сценарии, где автономные системы превосходят...
Локальный запуск больших языковых моделей: обзор инструментов для ПК и серверов
Разбор актуальных утилит и сред для запуска open-weight LLM на потребительском «железе» и локальных серверах. Сравнение Ollama, LM Studio, llama.cpp...
Как локальные LLM меняют разработку: обзор инструментов для автономного запуска
Разбор актуальных инструментов для запуска локальных языковых моделей на потребительском железе. Сравнение производительности, поддержка квантования и интеграция с IDE.