При сжатии длинного контекста компрессор может заранее получить общую задачу, для которой нужно сохранить сведения, — или работать без такой подсказки. GACC-Bench сравнивает эти режимы, оценивая, насколько хорошо другая модель затем отвечает на вопросы по сжатому контексту. Авторы сообщают о преимуществе совпадающей цели и о риске, когда цель не соответствует вопросам. Это результаты авторской оценки, а не независимое испытание коммерческих сервисов. Описание GACC-Bench на arXiv.
Что именно сравнивает GACC-Bench
Бенчмарк охватывает 281 контекст из семи коллекций, 500 целей и 2571 вопрос. Авторы сообщают, что все примеры прошли экспертную проверку. Цели задают предполагаемое направление дальнейшей работы с контекстом, а вопросы используются для оценки того, какая информация сохранилась после сжатия.
В обоих режимах компрессор получает исходный контекст и бюджет длины. При сжатии с целью ему также сообщают высокоуровневую цель. Связанные с ней вопросы компрессору не показывают: иначе он мог бы сохранять сведения специально для конкретного теста. Затем фиксированная модель-читатель отвечает на вопросы, используя сжатый контекст, а фиксированный оценщик проверяет ответы относительно исходного текста. Так сравнивают не просто краткость пересказа, а сохранение информации, нужной для последующих ответов.
Два режима по одинаковым критериям
| Критерий | Сжатие с заданной целью | Сжатие без цели |
|---|---|---|
| Что получает компрессор | Исходный контекст, цель и бюджет длины | Исходный контекст и бюджет длины |
| Доступ к вопросам оценки | Вопросы скрыты | Вопросы скрыты |
| Что проверяют | Точность ответов по сжатому контексту для вопросов, связанных с целью | Точность ответов по сжатому контексту без подсказки о цели |
| Сообщённый результат | Авторы сообщают о повышении точности, когда цель совпадает с вопросами | Базовый режим для сравнения |
| Основной риск | Несовпадающая цель может направить сжатие не на те сведения | Без целевого ориентира компрессор может не сохранить сведения, важные для конкретной задачи |
Это сравнение режимов в методике GACC-Bench, а не готовых продуктов. Преимущество целевого сжатия относится к совпадающей цели: оно не означает, что любая подсказка полезна.
Условия оценки и результаты
В аннотации авторы сообщают, что оценили десять моделей-компрессоров и обнаружили существенный разрыв между сжатием и использованием полного контекста даже у лучшей модели. Особенно сложным оказалось правильно ответить на все вопросы, относящиеся к одной цели. Это оценка моделей в рамках исследования, а не рейтинг для повседневного выбора.
В отдельном эксперименте сравнили изменение точности относительно сжатия без цели на 20 контекстах из каждой из трёх коллекций: LongCodeBench, L-Eval и траекторий агентов, собранных на задачах SWE-Bench Verified. DeepSeek-V4-Pro выступала и компрессором, и читателем. Авторы сообщают, что все совпадающие сочетания целей дали прирост, а в 42 из 44 несовпадающих сочетаний наблюдалось снижение точности. Это результат конкретного эксперимента, а не независимая проверка и не универсальная частота ошибок.
Когда какой режим уместен
Целевое сжатие имеет смысл рассматривать, когда при подготовке контекста уже известна достаточно надёжная общая задача. Результаты GACC-Bench дают основание ожидать выигрыш, если эта цель совпадает с тем, что понадобится модели-читателю. Исследование, однако, не устанавливает размер выгоды для конкретного приложения.
Сжатие без цели — сопоставимый режим, когда будущая задача ещё неизвестна или нельзя уверенно выбрать одну цель. Это не доказывает, что он всегда предпочтительнее при неопределённости: вывод исследования ограничен описанными условиями. Выбор зависит от того, насколько надёжно можно сформулировать предполагаемую задачу.
Что результаты не позволяют заключить
GACC-Bench сравнивает режимы и модели в авторской оценке. По нему нельзя определить цену, доступность или превосходство конкретной коммерческой реализации; независимых тестов этих режимов в используемом источнике нет. Исследование также не обещает сохранения всех важных сведений. Его проверяемый вывод уже: в описанной авторами оценке совпадающая цель улучшала точность, а несовпадающая могла её снизить.
