Bonsai 2: компактные ternary-модели PrismML для локальных ИИ-агентов

PrismML заявляет, что Bonsai 2 использует ternary-веса и занимает от 0,43 до 2 ГБ. В таблице производителя 9B уступает Qwen3.5 9B в Tau2Bench и Omni_doc; для обработки изображений, по сообщению Telegram-поста, нужен дополнительный модуль.

Telegram@vibecoding_tg

Встроенный пост загружается с Telegram. Если он недоступен, откройте источник.

Открыть оригинал

В оригинальном посте обсуждаются три размера Bonsai 2 — 2B, 4B и 9B. PrismML заявляет, что модели используют ternary-представление весов со значениями −1, 0 и +1; заявленный размер составляет 0,43, 0,95 и 2 ГБ соответственно. Это делает релиз интересным для локальных сценариев, где объём модели ограничивает выбор устройства.

Компактность не означает одинаковых результатов во всех задачах. В таблице PrismML Bonsai 2 9B получила 73,02 балла против 85,25 у Qwen3.5 9B в Tau2Bench. В той же таблице производитель указывает для Omni_doc 73,8 против 88,73. Это сравнение приводит сама PrismML; независимых измерений в доступных источниках нет.

Для обработки изображений объём модели больше заявленных 2 ГБ: по сообщению Telegram-поста, дополнительно потребуется визуальный модуль примерно на 0,62 ГБ. Опубликованные варианты доступны в коллекции Bonsai 2 на Hugging Face; наличие моделей в коллекции само по себе не подтверждает результаты бенчмарков.