22 октября 2026 года на arXiv был опубликован анонс работы о KVLearn — системе управления KV-кэшем для LLM-сервисов, где узлы prefilling и decoding разделены. Авторы предлагают учитывать при решении о хранении блока не только вероятность повторного использования, но и стоимость пересчёта, сетевой передачи и хранения. Страница arXiv сообщает, что работа принята на ACM SYSTOR 2026; версия v1 была подана 10 августа 2026 года. Аннотация работы на arXiv.
Почему разделение узлов меняет работу кэша
В раздельной архитектуре prefilling обрабатывает вход и формирует KV-данные, а decoding использует их для генерации. Когда нужного блока нет в кэше, цена промаха может включать не только повторное вычисление, но и передачу данных по сети к узлу decoding. Добавление блока в общий кэш тоже требует передачи. Поэтому решение о сохранении влияет одновременно на память, вычисления и межузловой трафик.
Три компонента KVLearn
Prefix Reuse Predictor (PRP) оценивает вероятность повторного использования префикса по структурным и временным признакам. По описанию авторов, для этого не требуется менять веса языковой модели.
Cost-Aware Retention Score (CARS) использует эту оценку, чтобы решать, сохранить ли блок или допустить ли его в кэш. В расчёт входят затраты на пересчёт, передачу и хранение.
Adaptive Threshold Controller (ATC) онлайн корректирует пороги допуска на основе наблюдаемых попаданий в кэш и давления на память. В совокупности компоненты предназначены для выбора блоков с учётом их ожидаемой полезности и цены хранения в распределённой системе.
Заявленные сравнения с No-Cache, LRU-Pool и Mooncake
В аннотации авторы сообщают, что в их оценке KVLearn снизил сквозное время до первого токена максимум на 56% относительно No-Cache, на 38% относительно LRU-Pool и на 33% относительно вариантов в стиле Mooncake. Это максимальные результаты сравнений с указанными базовыми вариантами, а не единый выигрыш для любой нагрузки или инфраструктуры.
Для межузловой передачи KV авторы заявляют сокращение объёма максимум на 53% относительно LRU-Pool. Значения помогают понять, с чем сопоставляли подход: No-Cache служит вариантом без сохранения кэша, LRU-Pool — сравнением с пулом на основе политики LRU, а Mooncake-style обозначает базовые варианты в стиле Mooncake. Аннотация не приводит отдельные абсолютные значения времени или объёма передачи.
Текстовые и мультимодальные нагрузки
Авторы указывают, что оценивали KVLearn на текстовых и мультимодальных нагрузках, в том числе с крупными KV-блоками, полученными из изображений и видео, и различными шаблонами повторного использования. Для набора MM-Session в аннотации сообщается, что пропускная способность оставалась примерно в пределах 5% от oracle — условного ориентира, предполагающего идеальные решения.
Что означают результаты для операторов
Для сервиса с раздельными пулами узлов эта работа показывает, почему обычного учёта давности использования может быть недостаточно: цена промаха и сохранения зависит также от передачи данных между узлами. KVLearn описывает способ включить эту цену в политику выбора KV-блоков; заявленные сравнения дают ориентир для дальнейшей оценки подхода на конкретной системе.
Все приведённые проценты и вывод о близости к oracle относятся к оценке авторов работы. Аннотация не раскрывает подробные конфигурации оборудования и методику экспериментов, а независимых тестов в доступных источниках нет. Поэтому эти максимальные показатели нельзя напрямую трактовать как ожидаемое ускорение или сокращение трафика в конкретном LLM-сервисе.
