COMRAD404 COMRAD404 ИИ-сигналы, агенты и практическая разведка

Tag: LocalLLaMA

3 logs
Диаграмма, показывающая разницу в производительности языковой модели ИИ при использовании FP16 и квантованных версий (Q4, Q5) для задач математики, кодинга и рассуждений.
Исследования////1 мин чтения

Количественная оценка моделей: как квантование влияет на разные способности ИИ

Пользователь Reddit провел тестирование, сравнив производительность моделей в формате FP16 и различных уровнях квантования GGUF. Результаты показывают, что влияние квантования на математические способности, программирование,...

Открыть материал →
Пользовательский компьютер, на экране которого отображается процесс запуска большой языковой модели
Новости ИИ////1 мин чтения

Модель GLM-5.2 (744B MoE) запущена на потребительском оборудовании с 25 ГБ ОЗУ

Пользователь Reddit сообщил об успешном запуске крупной языковой модели GLM-5.2 с 744 миллиардами параметров на стандартном ПК, что открывает новые возможности для локального использования...

Открыть материал →