В README VindexLLM, опубликованном в найденном сигнале 8 ноября 2026 года, описаны запуск GGUF-моделей на GPU через Vulkan, разовая генерация текста и чат с сохраняемой памятью. Это даёт потенциальный вариант локального запуска без Python и CUDA Toolkit, но перечисленные возможности пока представлены как заявления авторов: независимых тестов в доступных источниках нет. Дата релиза проекта отдельно не указана.
Движок для GGUF на Vulkan
Авторы описывают VindexLLM как движок инференса, написанный на Delphi и использующий Vulkan compute shaders для вычислений. Согласно README, программа загружает стандартные GGUF-файлы и выполняет проход модели на GPU без Python, CUDA Toolkit и внешних runtime-компонентов. Единственной зависимостью авторы называют vulkan-1.dll, которая, по их утверждению, поставляется с современными драйверами GPU.
Практический замысел — запускать GGUF-модель в Windows-среде без настройки стека Python и CUDA. Однако наличие Vulkan в драйвере само по себе не устанавливает совместимость конкретной видеокарты с движком.
Разовая генерация с Gemma 3 4B
В примере README загружается Gemma 3 4B в формате GGUF и настраивается генерация длиной до 1024 токенов. Для сэмплирования указаны temperature 1.0, TopK 64 и TopP 0.95. Это пример кода, а не измерение скорости или качества ответов.
Чтобы повторить такой сценарий, нужны файл модели и совместимая система. README не приводит конкретных требований к видеопамяти или перечня проверенных видеокарт.
Чат с памятью между сессиями
Второй пример — многотуровый чат с постоянной памятью на SQLite и получением контекста через RAG между сессиями. Помимо Gemma 3 4B, в конфигурации указаны отдельная embedding-модель embeddinggemma-300M-qat-Q4_0.gguf и файл базы памяти session.db.
Таким образом, приведённый авторами сценарий включает не только основную языковую модель, но и модель эмбеддингов с хранилищем. README описывает устройство примера, однако не даёт независимой оценки качества поиска контекста.
Что остаётся заявлением авторов
README также заявляет, что полный проход Gemma 3 4B выполняется на GPU без перехода на CPU, а KV-кэш использует TQ3-сжатие, уменьшающее расход видеопамяти примерно в девять раз по сравнению с F32. В доступных источниках нет независимых замеров производительности, проверки совместимости с конкретными GPU или локального теста редакции. Поэтому эти характеристики и описанные сценарии следует считать заявлениями авторов, а не подтверждёнными результатами. README VindexLLM на GitHub.
