Evolving Infra: как проект предлагает адаптировать обслуживание запросов ИИ-агентов

Evolving Infra: как проект предлагает адаптировать обслуживание запросов ИИ-агентов. Тематическая карточка Comrad404.

Для кодовых, математических и компьютерных агентов один пользовательский запрос часто превращается в последовательность обращений к модели: агент создаёт субагента, обновляет контекст, возвращается к уже обработанной ветви или заменяет историю её сжатой версией. Такая нагрузка отличается от обычного потока независимых чат-запросов: вычисления для чтения большого контекста и генерации новых токенов конкурируют за разные ресурсы, а повторное использование промежуточных состояний зависит от того, какая ветвь ещё нужна.

Вопрос Evolving Infra состоит не просто в том, насколько быстро работает отдельная модель. В описании проекта заявлена инфраструктура, которая должна онлайн менять соотношение вычислений prefill и decode, направлять запросы между узлами и выбирать, какие данные KV-кэша сохранять. Ниже разберём заявленные механизмы, сценарий применения и пределы опубликованных цифр. README проекта описывает архитектуру и приведённые авторами результаты.

Задача: почему агентские запросы требуют адаптивной инфраструктуры

В фазе prefill система обрабатывает входной контекст и подготавливает состояние для генерации, а в фазе decode последовательно создаёт новые токены. Для агента со множеством шагов это не фиксированное соотношение: один сценарий может предъявлять большой объём контекста, другой — порождать длинную генерацию, третий — быстро переключаться между основным агентом и субагентами.

Проект описывает онлайн-адаптацию без предварительного профилирования. Иными словами, авторы заявляют, что инфраструктуре не требуется заранее снять профиль каждой нагрузки, чтобы выбрать постоянную конфигурацию. Вместо этого планировщик должен учитывать текущую структуру работы агента и менять распределение ресурсов.

Практический смысл подхода появляется у команды, которая уже располагает крупным кластером и обслуживает неоднородные агентские задачи. Если же нагрузка состоит из небольшого числа стабильных запросов, выигрыш от сложного планирования может не компенсировать стоимость его внедрения и сопровождения. Это редакционный вывод из описанного механизма, а не результат отдельного теста.

Разделение prefill и decode и общий KV-кэш

Первый заявленный механизм — отделение распределения вычислений от управления KV-кэшем. По описанию проекта, узел может переключаться между ролями prefill и decode за секунды и без перезапуска. Это должно позволять менять пропорцию узлов между обработкой входного контекста и генерацией, когда профиль нагрузки меняется.

Само разделение не решает проблему перемещения промежуточных состояний. Поэтому Evolving Infra, согласно README, хранит KV-кэш в пуле хост-памяти, доступном каждому узлу. В такой схеме смена роли узла не обязательно означает потерю всех состояний, связанных с запросами: данные могут оставаться в общем пуле и быть прочитаны другим узлом.

Общий доступ не означает бесплатное перемещение. Передача данных, задержки памяти и политика размещения остаются частью фактической производительности. В доступном описании нет независимого измерения этих накладных расходов, поэтому нельзя заранее считать их несущественными для конкретного кластера.

Модель нагрузки и управление кэшем ветвей агента

Второй заявленный механизм — модель стоимости, которая учитывает отдельно нагрузку prefill и decode, а также субагентов и управление контекстом. По README, планировщик использует её, чтобы подобрать соотношение ролей узлов, а маршрутизатор — чтобы разместить конкретный запрос.

Третий механизм относится к KV-кэшу. По описанию проекта, менеджер получает сигналы от управления контекстом агента и должен удалять состояния, которые больше не понадобятся. В README приведены два примера: истории, заменённые компактизацией, и контекст завершённых субагентов. Состояния, которые агент, вероятно, будет переиспользовать, напротив, сохраняются.

Это отличается от политики, которая рассматривает кэш только как набор недавно использованных блоков. Для агентской системы важна не только давность обращения, но и структура будущей работы: завершённая ветвь может занимать память без пользы, а состояние активной ветви может пригодиться после следующего шага планирования.

На практике такой подход требует, чтобы инфраструктура понимала события жизненного цикла агента и могла передавать их менеджеру кэша. Если приложение не сообщает о компактизации, завершении субагента или вероятном повторном использовании контекста, преимущество агентской политики нельзя считать автоматически достигнутым.

Что показывают заявленные результаты — и чего они не доказывают

README проекта сравнивает Evolving Infra с NVIDIA Dynamo и заявляет до 4,1 раза меньшую среднюю сквозную задержку, до 14 раз меньшее P95 времени до первого токена и до 2,7 раза большую пропускную способность. Эти показатели приведены проектом, а не получены в независимом измерении редакции.

В описании названы три типа нагрузки: математические задачи Putnam, кодинг с Claude Code и компьютерное управление в OSWorld. Для каждого класса, по README, показаны три уровня конкурентности. В качестве моделей указаны GLM-5.2 для Putnam и Claude Code и Kimi K2.6 для OSWorld; проект также заявляет масштабирование до 256 GPU GB300.

Формулировка «до» важна: она обозначает лучший приведённый результат, а не гарантированное ускорение любого запроса. Доступное описание не раскрывает достаточно подробно условия сравнения, распределение результатов, конфигурацию каждого уровня конкурентности и переносимость на другие модели или оборудование. Поэтому точные значения, их разброс и универсальность вывода нельзя самостоятельно подтвердить по имеющимся материалам.

Сравнение с NVIDIA Dynamo следует читать как результат, опубликованный авторами Evolving Infra, а не как независимый бенчмарк. Из этих данных можно сделать вывод о заявленном направлении улучшения для перечисленных сценариев, но нельзя заключить, что та же разница будет получена на другом кластере, иной версии модели или при другой политике контекста.

Сценарий для команды со своим кластером и цена воспроизведения

Практический сценарий выглядит так: команда обслуживает агентские задачи трёх типов, наблюдает переменную долю prefill и decode, а агенты создают субагентов и возвращаются к отдельным ветвям контекста. В этом случае проект предлагает связку планировщика, маршрутизатора, узлов с меняющимися ролями и распределённого KV-менеджера. Это описание заявленной архитектуры, а не результат запуска в редакции.

Для воспроизведения README указывает запуск одного прогона на девяти GPU-узлах примерно на два часа. В инструкции также фигурируют выбранная нагрузка — Claude Code, Putnam или OSWorld, — учётная запись и раздел планировщика Slurm, образ, каталог модели и каталог, доступный всем узлам. Это не обещание доступности результата: команде нужно иметь совместимое оборудование, среду запуска, модельные файлы и общий путь между узлами.

Стоимость проверки здесь измеряется не только временем инженера. Один эксперимент удерживает девять GPU-узлов около двух часов, а повторение для разных нагрузок и уровней конкурентности потребует дополнительных запусков. Поэтому перед внедрением разумно отдельно проверить, соответствует ли собственная агентская нагрузка тем трём сценариям, на которых проект строит сравнение, и насколько важны для неё повторное использование KV, компактизация и ветвление.

Итоговый ответ для команды с собственным кластером осторожный: описанная архитектура может быть полезна там, где агентская нагрузка действительно меняется по фазам и активно использует ветви контекста. Заявленные 4,1×, 14× и 2,7× дают ориентир для гипотезы, но не заменяют локальный бенчмарк. До такой проверки их следует считать результатами проекта для описанных сценариев, а не гарантией ускорения конкретной инфраструктуры.