Bonsai 2 27B: как запустить 27-миллиардную модель в 6 ГБ с помощью троичной квантизации Prism ML
Модель Bonsai 2 27B от Prism ML использует троичную квантизацию (PTQ1.0) для сжатия в 9 раз при почти без потерь...
Тема COMRAD404
GGUF
5 материалов
Holo3.1: H Company выпускает семейство моделей для компьютерного зрения с локальным исполнением и квантованными весами
H Company представила Holo3.1 — новое семейство моделей для компьютерного зрения (computer use), ориентированное на локальное исполнение, поддержку мобильных сред...
Локальные LLM в продакшене: что изменилось с выходом llama.cpp v0.5.0
Релиз llama.cpp v0.5.0 принес поддержку Flash Attention, Metal GPU и принципиально новую архитектуру для инференса на CPU/GPU. Разбираем, что это...
Локальные языковые модели на ПК: как развернуть и использовать LLM в офлайн-режиме
Практическое руководство по запуску локальных LLM на персональном компьютере: требования к железу, Ollama, LM Studio, квантование весов и проверка модели...
Количественная оценка моделей: как квантование влияет на разные способности ИИ
Пользователь Reddit провел тестирование, сравнив производительность моделей в формате FP16 и различных уровнях квантования GGUF. Результаты показывают, что влияние квантования...