Препринт GAAC (arXiv:2610.38210v1, 28 октября 2026) описывает кодек, который сжимает BF16 KV-кэш без потери битов и распаковывает значения прямо в ядре внимания. Авторы — Yipin Guo, Arun M George и Siddharth Joshi из University of Notre Dame. Для запуска модели на персональном устройстве это меняет расстановку узких мест: длинный контекст упирается не в арифметику, а в объём памяти и пропускную способность. Полный текст — на arXiv.
Почему кэш стал ограничением
Квантование весов уменьшает хранение и трафик чтения весов, но KV-кэш не сокращает. Кэш растёт с длиной последовательности, и полное внимание заново читает ключи и значения на каждом шаге генерации. Уложить длинный контекст в память ещё не значит обрабатывать его быстро.
GAAC опирается на концентрацию экспонент BF16 в узких непрерывных диапазонах. Экспоненты кодируются смещениями от калиброванной базы по каналам: группа из восьми экспонент получает 2-битный тег, который выбирает режим в 3 бита, 4 бита или без сжатия. Знак и мантисса каждого элемента хранятся неизменными в одном байте. Fused-ядро внимания собирает тайлы KV на лету, не материализуя распакованный кэш целиком; блочное сжатие и слоты фиксированной ёмкости поддерживают добавление записей при декодировании и paged serving.
Что показали замеры
Все числа ниже — измерения авторов на их стенде: пять моделей, NVIDIA DGX Spark и Apple M4. Это не независимая проверка.
| Показатель | Результат |
|---|---|
| Сжатие BF16 KV без потерь | 1,405–1,407× |
| Декодирующее внимание, контекст 64K, DGX Spark | 1,19–1,27× |
| Сквозной шаг W4A16 | 1,04–1,15× |
| Объём KV-кэша в памяти | примерно −26% |
| Агрегатная пропускная способность при сопоставимом бюджете KV-памяти | +13–29% |
Разрыв между ускорением внимания и сквозным шагом объясняется составом декодирования: чтение весов, нормализации и другие операции сжатие не затрагивает. Прирост пропускной способности получен при равном бюджете KV-памяти.
Apple M4 и FP8
На Apple M4 авторы сообщают об ускорении внимания в 1,02–1,25 раза и описывают это как перенос метода за пределы NVIDIA. Для FP8-кэшей коэффициенты ниже: 1,09–1,14 раза для E4M3 и 1,25–1,30 раза для E5M2.
Ограничения
Это первая версия препринта: независимого воспроизведения нет, конфигурации, контексты и продакшн-нагрузки за пределами стенда авторов не проверялись. В препринте указана лицензия CC BY 4.0. «Lossless» здесь означает побитовое сохранение KV, а не бесплатность: распаковка на лету добавляет вычисления, и выигрыш держится там, где память ограничивает сильнее арифметики.
