README проекта Enki LLM описывает движок инференса на Rust для Llama 3.2 1B и заявляет переключение вычислений между GPU и CPU во время генерации. Авторы также указывают около 40 токенов в секунду на Nvidia Tesla T4. Для читателя это возможность попробовать описанный сценарий через Google Colab или локально; приведённые характеристики не являются независимыми результатами редакции. README проекта Enki LLM получен 14 октября 2026 года; дата его публикации не указана.
Что означает переключение во время генерации
По заявлению авторов, команды /gpu и /cpu переносят активное выполнение на GPU или CPU соответственно. Вместе с выполнением, как утверждает README, переносится KV-кэш — промежуточные данные контекста, используемые моделью при продолжении ответа. Авторы заявляют, что контекст при этом сохраняется.
Команда /dual, согласно README, должна поочерёдно направлять вычисление токенов на GPU и CPU. Таким образом, речь идёт не только о выборе устройства до запуска: описанный авторами режим предполагает переключение в ходе генерации. Практическая работа этих режимов в доступных материалах независимо не подтверждена.
Как авторы предлагают попробовать движок
README предлагает открыть ноутбук проекта в Google Colab и запустить все ячейки. По описанию авторов, ноутбук подготовит среду, запишет исходные файлы на Rust, соберёт release-бинарник и запустит интерактивную оболочку в браузере. Это инструкция из README, а не подтверждение успешного запуска.
Для локального запуска авторы указывают драйверы Vulkan 1.3 и стандартный инструментарий Rust. В примерах README названы SmolLM2-135M-Instruct и Llama-3.2-1B-Instruct. Это примеры, приведённые в документации проекта; они сами по себе не устанавливают совместимость с произвольными моделями.
Что известно о скорости и ограничениях
Около 40 токенов в секунду для Llama 3.2 1B на Nvidia Tesla T4, реализацию объёмом примерно 2 000 строк Rust и поддержку дискретных GPU Nvidia, встроенной графики Intel UHD и многоядерных CPU указывают авторы проекта. Независимых измерений или сравнений с другими движками в доступных материалах нет, поэтому значение для T4 нельзя переносить на другие устройства. Данных о стоимости локального запуска и производительности на иных конфигурациях также нет.
Для читателя практический смысл проекта — ознакомиться с авторским вариантом инференса на Rust и попробовать заявленное переключение через Colab либо локальную среду с Vulkan и Rust. Насколько стабильно миграция сохраняет контекст и как она влияет на скорость, из доступного описания установить нельзя.
