Bonsai 2 27B: как запустить 27-миллиардную модель в 6 ГБ с помощью троичной квантизации Prism ML
Модель Bonsai 2 27B от Prism ML использует троичную квантизацию (PTQ1.0) для сжатия в 9 раз при почти без потерь качества. Релиз сопровождается форком llama.cpp и GGUF-весами. Разбираем, как запустить модель локально и что...
Открыть материал →