EfficientNet-B0 теряет точность при квантовании до 4 и 3 бит

В экспериментах автора EfficientNet-B0 почти сохранила точность после перехода на INT8, но резко потеряла её при 4- и 3-битном квантовании; низкая разрядность также не гарантировала ускорения CPU.

EfficientNet-B0 теряет точность при квантовании до 4 и 3 бит. Тематическая карточка Comrad404.

В препринте версии 1 от 17 ноября 2026 года автор сравнивает квантование EfficientNet-B0 для классификации ImageNet-1k. В приведённых им экспериментах INT8 почти сохранил точность и уменьшил задержку CPU, тогда как равномерное квантование весов до 4 и 3 бит резко ухудшило результат. Данные опубликованы в препринте Michael Schroeder на arXiv.

INT8 почти сохранил точность

В исходном варианте автор получил top-1 точность 72,86%. После полной целочисленной конвертации в INT8 она составила 72,81% — на 0,05 процентного пункта ниже. Размер модели уменьшился с 20,43 до 6,00 МБ, а медианная задержка CPU — с 9,81 до 6,65 мс.

В том же исследовании равномерное квантование весов до 4 бит дало 23,03% точности, а до 3 бит — 0,30%. Это результаты эксперимента на EfficientNet-B0 и ImageNet-1k, а не универсальная оценка всех моделей компьютерного зрения.

Почему грубое округление может повредить ранние слои

Автор связывает провал с чувствительностью ранних depthwise-операций. Фильтр 3×3 содержит девять весов на канал и не суммирует информацию между каналами. По объяснению в препринте, грубое округление такого небольшого набора значений может исказить пространственные признаки уже в начале обработки изображения.

Смешанное распределение битности частично восстановило точность, но не вернуло исходный уровень: при средней битности 3,56 автор сообщает о 67,94% после посттренировочной обработки и 68,98% после одной эпохи QAT с перенастройкой BatchNorm.

Меньший файл не обязательно быстрее на CPU

В описанных автором CPU-тестах INT8 использовал нативные 8-битные SIMD-инструкции во всех 82 слоях и показал задержку 6,65 мс. Экспортированная 4-битная модель размером 3,59 МБ выполнялась за 15,43 мс — в 1,48 раза медленнее FP32. Упакованная 3-битная модель занимала 2,47 МБ, но её задержка составила 376,8 мс — в 21,5 раза больше, чем у FP32.

Авторы объясняют разницу отсутствием нативных суббайтовых depthwise-ядер в описанных сценариях на стандартных ARM- и x86-процессорах: программная распаковка битов добавляет накладные расходы. Точность и задержки приведены в самом препринте; независимого редакционного бенчмарка здесь нет. Результаты относятся к указанной модели, набору данных и условиям работы, поэтому разработчику нужно отдельно проверять качество и скорость на целевом устройстве.