18 октября 2026 года в Hacker News появилась ссылка на проект Leviathan — приложение для запуска языковых моделей на компьютере с Windows и видеокартой NVIDIA. README проекта описывает путь от файла модели GGUF до чата в приложении; владельцам совместимой карты он предлагает локальный сценарий без облака, но это описание автора, а не независимо проверенный результат. README Leviathan
Какие требования указаны
В README перечислены Windows, видеокарта NVIDIA уровня GTX 16-й серии или RTX 20-й серии и новее, а также драйвер, предоставляющий CUDA 13.0 или более позднюю версию. Автор заявляет, что отдельно устанавливать Python, CUDA Toolkit и Visual Studio не нужно.
Для модели на 7–8 млрд параметров при умеренном качестве проект приводит ориентир в 8 ГБ видеопамяти; более крупным моделям, по README, требуется больше. Это оценка автора, а не гарантия, что любая модель такого размера поместится или будет работать на конкретной карте.
Как описан первый запуск
Согласно инструкции проекта, пользователь конвертирует файл модели GGUF через Studio → Convert в формат .lev, добавляет его в разделе Models и запускает чат. README называет конвертацию разовой для каждой модели.
Локальная обработка зависит от выбранной модели
Проект утверждает, что при запуске модели на собственной видеокарте сообщения остаются на компьютере. Для подключённых облачных моделей, например Grok, README отдельно предупреждает о передаче сообщений их провайдеру. Поэтому заявление о локальной обработке относится к локальной модели и не распространяется на облачный сценарий.
Показана одна конфигурация
В README приведена демонстрация чата с Qwen 2.5 Coder 7B в формате Q8_0 на RTX 4080. Автор отмечает, что скорость зависит от видеокарты, прежде всего от пропускной способности её памяти. Этот пример показывает заявленный проектом сценарий на одной конфигурации, но не позволяет судить о скорости на других компьютерах. Независимой проверки приложения среди доступных материалов нет. Описание и демонстрация в README проекта
README не указывает цену приложения и дату его релиза. В нём также не приведены независимые результаты проверки производительности или приватности, поэтому системные требования, оценку видеопамяти и заявления о локальной обработке следует считать сведениями самого проекта.
