На arXiv опубликована статья, в которой исследователи представляют RIPPLE (Replay-Informed Persistent Policy Localization and Editing) — метод для устойчивой адаптации промптов агентов, синтезирующих исполняемые рабочие процессы. Работа решает две ключевые проблемы, возникающие при постоянном редактировании промптов: нелокальность эффекта правки и композиционную интерференцию.
Проблема: когда правка не локальна
Авторы показывают, что у постоянного редактирования промптов есть два связанных свойства. Первое: локальность правки не гарантирует локальность эффекта — изменение одного сегмента политики может вызвать каскадные последствия в последующих шагах выполнения. Второе: эффекты правок чувствительны к композиции — две изолированно полезные правки могут при объединении нейтрализовать друг друга или стать вредными.
Как устроен RIPPLE
Метод разделяет два решения: где именно нужно изменить политику на основе обратной связи от выполнения, и остаётся ли результат правки безопасным после композиции. Алгоритм работает в несколько этапов:
- Диагностика неудачных траекторий и сопоставление каждой исправимой ошибки с предопределённым сегментом политики.
- Оценка кандидатов правок в изоляции, сравнение их выигрыша относительно исходной политики.
- Повторное применение правок после ранее принятых обновлений для выявления нисходящих эффектов и взаимодействий.
- Сохранение только тех правок, которые остаются безопасными при композиции.
Результаты и бенчмарк
Оценка проводилась на Flow-HO — синтетическом бенчмарке для синтеза исполняемых рабочих процессов. Ключевые показатели:
- Улучшение успешности валидации до 23,1%.
- Положительные результаты на двух дополнительных замороженных языковых моделях.
- Сохранение эффективности правок при низких вычислительных затратах.
Анализ взаимодействий подтвердил оба заявленных свойства: правка, меняющая использование инструмента в одном сегменте, влияла на разрешение ресурсов и валидацию в последующих шагах. Также был зафиксирован случай, когда изолированно полезная правка становилась вредной после композиции с другой.
Практические ограничения
Метод тестировался на синтетическом бенчмарке, что оставляет открытым вопрос о его эффективности на реальных задачах. Также требуется предопределённая сегментация политики, что может быть нетривиально для сложных агентов. Авторы не приводят данных о времени выполнения самого алгоритма RIPPLE.
Значение для разработчиков
Работа предлагает системный подход к управлению правками промптов, что критически важно для production-агентов, работающих с изменяющимися требованиями. Разделение локализации и проверки безопасности при композиции — практичное решение, которое может лечь в основу инструментов для непрерывной адаптации агентов.
Источники
- Оригинальная статья на arXiv: arXiv:2609.12127
- Платформа arXiv: https://arxiv.org/