Квантизация GPTQ vs AWQ: что выбрать

Короткий ответ: на 15.08.2026 выбирайте GPTQ, если вам нужен более широкий выбор битностей и более явно документированный путь квантизации в экосистеме Hugging Face; выбирайте AWQ, если вы целитесь именно в 4-bit weight-only deployment и работаете с текущим стеком llm-awq или готовыми AWQ-чекпойнтами.

• ✅ Выбирайте GPTQ, если нужны 2/3/4/8-bit варианты, текущий стек вокруг GPTQModel и более широкая матрица backend’ов в обзоре Hugging Face.
• ✅ Выбирайте AWQ, если нужен hardware-friendly 4-bit путь, activation-aware подход и совместимость с текущим upstream-репозиторием llm-awq.
• ❌ Оба не подходят, если вы ищете универсального победителя по качеству или скорости для всех моделей и всех GPU: официальные источники этого не подтверждают.

Дата проверки и повторной сверки источников: 15.08.2026. Это важно, потому что стек квантизации движется быстро: archived-проекты AutoGPTQ и AutoAWQ уже считаются legacy, а актуальные рекомендации смещаются в сторону GPTQModel и llm-awq.

Условие теста	GPTQ	AWQ
Референс метода	GPTQ paper + Hugging Face GPTQ guide v4.50.0 + текущая экосистема GPTQModel	AWQ paper + Hugging Face AWQ guide на дату 15.08.2026 + upstream llm-awq
Тариф	Открытый исходный код; официальная цена не опубликована	Открытый исходный код; официальная цена не опубликована
Дата проверки	15.08.2026	15.08.2026
Одинаковая задача	Сравнить воспроизводимый workflow low-bit deployment в Transformers без обучения с нуля	Та же задача
Оговорка по версии	В source pack есть фиксированная ссылка на GPTQ guide v4.50.0	В source pack для AWQ guide не указан отдельный version label, поэтому привязка сделана к дате проверки

Критерий	GPTQ	AWQ
Тип метода	One-shot post-training weight quantization на основе приближённой second-order информации	Activation-aware weight-only quantization, ориентированная на hardware-friendly deployment
Основной фокус	Точная PTQ-квантизация с гибкостью по битности	4-bit compression и acceleration с защитой примерно 1% salient weights
Поддерживаемые битности в актуальном HF overview	2/3/4/8-bit через GPTQModel	4-bit only
Backend’ы в актуальном HF overview	CUDA, ROCm, Metal, Intel GPU	CUDA, ROCm, Intel GPU
Интеграция в Transformers	Поддерживается; в документации описан GPTQConfig с параметрами bits, dataset, tokenizer	Поддерживается; в документации описана загрузка моделей, квантизованных через llm-awq и autoawq
Состояние текущей экосистемы	Актуальный стек смещён к GPTQModel; AutoGPTQ archived и read-only	Upstream-референс — llm-awq; AutoAWQ archived и officially deprecated
Ограничения, явно отмеченные в документации	Для quantization-flow рекомендуется device_map=”auto”; disk offloading не поддерживается	AutoAWQ может понизить Transformers до 4.47.1
Официальная цена	Не опубликована	Не опубликована

Цена и лимиты

Если вы сравниваете квантизацию GPTQ vs AWQ как практический выбор для локального inference, по цене официального отличия между ними сейчас нет: это открытые проекты, и в официальных страницах из source pack не опубликованы ни подписка, ни прайс, ни формальный free tier.

Поэтому реальная стоимость здесь — это не лицензия, а ваш compute, память и совместимость железа. Именно по этой причине в таком сравнении важнее смотреть не на «дешевле/дороже», а на bit-width, backend’ы, ограничения workflow и состояние экосистемы.

Редакционное ограничение: в supplied sources нет официальных цен, а также нет единой таблицы потребления памяти и latency для одинаковых моделей. Ниже — сравнение по методу, поддержке и воспроизводимому workflow, а не по придуманным цифрам.

В чём методическая разница между GPTQ и AWQ

Если нужен быстрый ориентир без маркетинга: GPTQ — это one-shot PTQ-метод, который опирается на приближённую second-order информацию. В оригинальной работе заявлены 3/4-bit веса, возможны 2-bit и ternary режимы, а также приведён пример квантизации 175B-модели примерно за 4 GPU hours.

AWQ в оригинальной работе описан как activation-aware weight-only метод. Его ключевая идея — защищать примерно 1% наиболее значимых весов, используя распределение активаций, а не реконструкцию весов или backprop; фокус статьи — 4-bit compression и acceleration.

Практически это означает следующее: GPTQ в текущей документации выглядит более гибким по битности, а AWQ — более узким, но более сфокусированным на 4-bit weight-only deployment. Если вам нужен словарь терминов, сначала полезно освежить базовые понятия квантизации и сравнить форматы GGUF, GPTQ и AWQ.

Качество на задаче «сохранить модель после PTQ»

Здесь важно не обещать того, чего нет в источниках. У нас нет универсального head-to-head бенчмарка из source pack, который бы честно сравнивал GPTQ и AWQ на одной и той же модели, одном датасете калибровки, одном kernel’е и одном железе.

Что можно утверждать по источникам: GPTQ создан как точный посттренировочный метод с second-order аппроксимацией; AWQ — как activation-aware weight-only метод, который защищает небольшую долю «salient» весов и не опирается на backprop. Но из этого нельзя автоматически вывести, что один метод всегда качественнее другого.

Практический вывод для инженера: если ваша задача — свобода выбора bit-width и текущий GPTQ workflow, GPTQ выглядит более универсально. Если ваша задача — именно 4-bit path и совместимость с AWQ-стеком, AWQ выглядит более целевым. Всё остальное нужно проверять на конкретной модельной семье и вашем calibration set; Hugging Face прямо не публикует из source pack универсального победителя.

Скорость, bit-width и поддержка железа

По текущему обзору Hugging Face различие простое и практичное. AWQ там указан как 4-bit only с поддержкой CUDA, ROCm и Intel GPU. GPTQModel указан как 2/3/4/8-bit с поддержкой CUDA, ROCm, Metal и Intel GPU.

Если вы работаете на Apple-стеке и ищете именно то, что явно присутствует в матрице HF overview, это аргумент в пользу GPTQModel. Если вам нужен narrow-but-clear 4-bit path, AWQ в текущем виде проще оценивать именно как 4-bit вариант, а не как универсальную схему для всех битностей.

Дополнительно репозиторий GPTQModel описывает аппаратное ускорение на Nvidia, AMD, Intel GPU и на Intel/AMD/Apple CPU, а в changelog v7.0.0 от 28.04.2026 добавлена поддержка Huawei Ascend NPU. У AWQ такой общей матрицы в source pack нет, поэтому честнее опираться на HF overview и upstream llm-awq, а не приписывать AWQ лишние backend’ы.

Оговорка по скорости: paper AWQ делает акцент на acceleration, но source pack не даёт воспроизводимого «AWQ быстрее GPTQ на X%» для одинаковых условий. Поэтому сравнение «что быстрее» без вашего железа и kernel’а было бы недобросовестным.

Интеграции, Transformers и состояние экосистемы

В главной документации Transformers прямо сказано, что библиотека поддерживает алгоритмы AWQ и GPTQ, наряду с 8-bit и 4-bit квантизацией через bitsandbytes. Но в 2026 году важно смотреть не только на алгоритм, а и на то, каким именно стеком вы его используете.

Для GPTQ актуальный ориентир — не AutoGPTQ, а GPTQModel. Это видно и по HF overview, и по тому факту, что репозиторий AutoGPTQ archived и read-only с 11.04.2025. В release notes v0.7.0 у AutoGPTQ даже упоминается загрузка AWQ checkpoint’ов, но там же отмечено, что AWQ repacking currently slow, то есть для новых проектов это уже скорее мост к legacy, чем опора на будущее.

Для AWQ актуальный ориентир — llm-awq как upstream-референс. Репозиторий говорит о поддержке AWQ search, model zoo для Llama-1/2/3, OPT, CodeLlama, StarCoder, Vicuna, VILA и LLaVA, а также о native Transformers integration. В то же время AutoAWQ archived, read-only с 11.05.2025 и officially deprecated; releases отдельно пишут, что проект больше не поддерживается и последний раз тестировался против Torch 2.6.0 и Transformers 4.51.3.

Именно поэтому для новых сборок я бы смотрел не на старые «авто»-репозитории, а на текущие опорные точки: GPTQModel и llm-awq. Это особенно важно, если вы уже принимаете решение между локальным inference и внешним API; отдельные критерии такого выбора разобраны в материале локальная модель vs API.

Практический тест: один workflow в Transformers

Что именно тестируем: не бенчмарк скорости, а воспроизводимый workflow на одинаковой задаче — подключить low-bit deployment в экосистеме Transformers без дообучения модели с нуля.

1. Одинаковая задача. Взять уже обученную causal LLM и провести или подключить low-bit workflow через официально описанный путь.
2. Результат для GPTQ. В официальном гайде показан путь через GPTQConfig с параметрами bits, dataset и tokenizer; для offloading во время quantization рекомендуется device_map="auto", а disk offloading не поддерживается.

GPTQConfig(
  bits=4,
  dataset=...,
  tokenizer=...
)

device_map="auto"

На практике это означает: GPTQ в документации Hugging Face описан не только как формат загрузки, но и как путь к самой квантизации внутри HF workflow. Если вы хотите привязать процесс к calibration data и tokenizer, это плюс.

3. Результат для AWQ. В официальном AWQ guide описана загрузка моделей, уже квантизованных через llm-awq и autoawq; конфиг AWQ содержит quant_method со значением awq и bits со значением 4. Отдельная оговорка документации: AutoAWQ может понизить Transformers до 4.47.1.

{
  "quant_method": "awq",
  "bits": 4
}

На практике это означает: AWQ в официальном пути Hugging Face сейчас очень естественно выглядит как способ потреблять готовые 4-bit AWQ checkpoints, а не как универсальная схема с диапазоном 2/3/8-bit.

4. Вывод по тесту. Для сценария «я хочу сам квантизовать и тонко задать параметры PTQ внутри HF» документация GPTQ сейчас описана более явно. Для сценария «мне нужен готовый 4-bit AWQ checkpoint и совместимость с текущим AWQ-стеком» путь AWQ понятен и достаточно прямой.

Если вы хотите глубже понимать, зачем в таких workflow вообще фигурируют calibration data и tokenizer, пригодится базовая статья про токенизацию.

Кому подойдёт GPTQ

• Вам нужен выбор между 2/3/4/8-bit, а не только 4-bit.
• Вы хотите опираться на текущий стек GPTQModel, а не на archived AutoGPTQ.
• Вам важен более явно документированный quantization-flow в Hugging Face через GPTQConfig.
• Для вашей платформы важна матрица HF overview, где у GPTQModel дополнительно указан Metal.
• Вы готовы отдельно проверить совместимость kernel’а, backend’а и железа по hardware table и release notes GPTQModel.

Кому подойдёт AWQ

• Вы целитесь именно в 4-bit weight-only deployment.
• Вам ближе activation-aware логика AWQ и сценарий, где защищается небольшая доля наиболее значимых весов.
• Вы работаете с llm-awq как upstream-референсом и его model zoo.
• У вас уже есть готовые AWQ checkpoints, которые вы хотите загружать через поддерживаемый HF workflow.
• Вы готовы аккуратно обходить legacy-ветку AutoAWQ, помня, что она archived, officially deprecated и может влиять на версию Transformers.

Когда оба не подходят

• Если вам нужен универсальный победитель по качеству и скорости без собственных тестов на вашей модели и вашем железе.
• Если вам нужна коммерческая подписка с формальным SLA и опубликованным прайсом: supplied sources описывают open-source стек, а не managed service.
• Если ваш проект зависит от legacy AutoGPTQ или AutoAWQ и вы не готовы переоценивать стек: оба эти репозитория уже не лучший фундамент для нового внедрения.
• Если вы ещё не решили, нужен ли вам локальный inference вообще: сначала разберите архитектурный выбор «локальная модель или API», а уже потом выбирайте конкретную схему квантизации.

Итог

У сравнения квантизация GPTQ vs AWQ на 15.08.2026 нет абсолютного победителя. Для гибкости по битности, более широкой матрицы backend’ов в HF overview и явного GPTQ workflow логичнее смотреть на GPTQ/GPTQModel. Для 4-bit weight-only deployment, activation-aware подхода и текущего стека llm-awq логичнее смотреть на AWQ.

Практический вердикт редакции: если вы запускаете новый проект и не привязаны к старым checkpoint’ам, сравнивайте не AutoGPTQ vs AutoAWQ, а GPTQModel vs llm-awq. И обязательно перепроверяйте документацию перед внедрением: exact performance, совместимость и даже рекомендуемый стек могут меняться от релиза к релизу.

Источники

• GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers
• AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
• Overview · Hugging Face
• Quantization · Hugging Face
• AWQ · Hugging Face
• GPTQ · Hugging Face
• GitHub – mit-han-lab/llm-awq
• Releases · casper-hansen/AutoAWQ
• Releases · AutoGPTQ/AutoGPTQ
• GitHub – ModelCloud/GPTQModel

Вопросы и ответы

Что выбрать для 4-bit deployment: GPTQ или AWQ?

Если вам нужен именно current 4-bit weight-only path и вы ориентируетесь на llm-awq или готовые AWQ checkpoints, логичнее начать с AWQ. Если вместе с 4-bit вам нужна гибкость по другим bit-width, смотрите на GPTQ/GPTQModel.

Что гибче по битности на 15.08.2026?

По актуальному HF overview гибче GPTQModel: для него указаны 2/3/4/8-bit. Для AWQ там указан только 4-bit.

Можно ли строить новый проект на AutoGPTQ или AutoAWQ?

Оба репозитория уже legacy: AutoGPTQ archived и read-only, AutoAWQ archived, read-only и officially deprecated. Для нового проекта безопаснее сначала проверить текущие рекомендации вокруг GPTQModel и llm-awq.

Что быстрее: GPTQ или AWQ?

У supplied sources нет честного head-to-head benchmark на одинаковой модели и одинаковом железе, поэтому универсального ответа нет. AWQ paper делает акцент на acceleration, но итоговая скорость зависит от model family, calibration data, kernel и hardware.

Есть ли у этих проектов официальная цена или региональные ограничения?

Официальная цена в supplied sources не опубликована, а региональная доступность на страницах open-source проектов не описана. Проверять нужно совместимость окружения, драйверов и конкретных backend’ов.