Тема COMRAD404

LLM — страница 36

372 материалов

Количественная оценка моделей: как квантование влияет на разные способности ИИ

Пользователь Reddit провел тестирование, сравнив производительность моделей в формате FP16 и различных уровнях квантования GGUF. Результаты показывают, что влияние квантования...

KoboldCpp 1.117: новый релиз с акцентом на производительность и аппаратное ускорение

Выпущена новая версия KoboldCpp 1.117, популярного инструмента для локального запуска больших языковых моделей. Обновление приносит улучшения производительности и расширенную поддержку...

Локальные LLM: Прорыв или новый виток маркетинга?

Обзор последних достижений в области локальных больших языковых моделей, их практического применения и потенциальных ограничений для разработчиков и энтузиастов ИИ.