COMRAD404 COMRAD404 ИИ-сигналы, агенты и практическая разведка

Тема

GGUF: статьи, новости и разборы

Статьи, новости и разборы по теме «GGUF»: ключевые события, понятные объяснения, практические материалы и проверенные источники COMRAD404.

В архиве 3 материала

Материалы по теме

3 материала
Терминал с процессом загрузки GGUF-модели в llama.cpp, графики производительности
Колонки////4 мин чтения

Локальные LLM в продакшене: что изменилось с выходом llama.cpp v0.5.0

Релиз llama.cpp v0.5.0 принес поддержку Flash Attention, Metal GPU и принципиально новую архитектуру для инференса на CPU/GPU. Разбираем, что это меняет для разработчиков агентов и автономных пайплайнов.

Открыть материал →
Редакционная обложка COMRAD404: Локальные языковые модели на ПК: как развернуть и использовать LLM в офлайн-режиме
Агенты, Инструменты////4 мин чтения

Локальные языковые модели на ПК: как развернуть и использовать LLM в офлайн-режиме

Практическое руководство по запуску локальных LLM на персональном компьютере: требования к железу, Ollama, LM Studio, квантование весов и проверка модели перед внедрением в рабочие...

Открыть материал →
Редакционная обложка COMRAD404: Количественная оценка моделей: как квантование влияет на разные способности ИИ
Исследования////3 мин чтения

Количественная оценка моделей: как квантование влияет на разные способности ИИ

Пользователь Reddit провел тестирование, сравнив производительность моделей в формате FP16 и различных уровнях квантования GGUF. Результаты показывают, что влияние квантования на математические способности, программирование,...

Открыть материал →