Локальные AI-модели перестали ломать JSON: грамматический подход llama.cpp
Пользователь Reddit поделился методом, заставляющим локальные модели выдавать валидный JSON с помощью GBNF-грамматик в llama.cpp. Подход реализован в проекте Eris — Rust-агенте, работающем полностью на устройстве пользователя.
Открыть материал →









