Исследователи из Чжэцзянского университета (ZJU) представили EvoSkill-GUI — фреймворк для обучения GUI-агентов без дополнительного обучения. Основная идея: навыки агента не должны быть статичными артефактами, созданными до развёртывания. Вместо этого EvoSkill-GUI позволяет агенту пересматривать и улучшать свои навыки прямо во время выполнения задач.
Проблема и решение
Современные GUI-агенты сталкиваются с динамическими интерфейсами: всплывающие окна, задержки загрузки, перемещённые виджеты — всё это рушит заранее составленные планы. Существующие подходы к созданию навыков (skill libraries) обычно фиксируют их до развёртывания. EvoSkill-GUI предлагает иной подход: навыки становятся «живыми» процедурными знаниями, которые улучшаются через опыт.
Как работает EvoSkill-GUI
Каждый навык в EvoSkill-GUI — это структурированный многофайловый пакет, содержащий:
— метаданные для поиска;
— исполняемые планы;
— резервную локализацию (backup localization);
— правила восстановления после сбоев;
— утилиты доступности;
— примеры неудачных выполнений.
Фреймворк работает через цикл из трёх этапов:
— Reflect: изолированный критик анализирует неудачные траектории выполнения, соблюдая строгую изоляцию информации.
— Revise: исполнитель редактирует конкретные файлы навыка через ограниченный интерфейс инструментов.
— Reuse: обновлённый навык применяется в новых задачах.
Важный момент: все изменения происходят без дообучения модели — только за счёт редактирования файлов навыка.
Результаты тестирования
EvoSkill-GUI протестирован на трёх бенчмарках, охватывающих мобильные и десктопные платформы:
| Бенчмарк | Максимальный прирост |
|---|---|
| MobileWorld | +16,2% |
| AndroidWorld | +6,0% |
| OSWorld | +10,5% |
Эволюционировавшие библиотеки навыков продолжают приносить пользу для связанных задач, а не перестраиваются с нуля.
Практические ограничения
Хотя результаты впечатляют, стоит учитывать несколько моментов. Во-первых, фреймворк требует изолированного критика, который анализирует неудачные траектории — это добавляет вычислительные накладные расходы. Во-вторых, качество эволюции напрямую зависит от качества начальных навыков и разнообразия сценариев ошибок. В-третьих, эксперименты проведены на трёх бенчмарках, и реальная эффективность в production-средах может отличаться.
Почему это важно
EvoSkill-GUI предлагает прагматичный подход к обучению агентов: вместо дорогостоящего дообучения моделей — эволюция навыков через опыт. Это особенно актуально для разработчиков, которые хотят улучшать поведение агентов без перезапуска циклов обучения.
Исходный код доступен на GitHub: https://github.com/ZJU-REAL/EvoSkill-GUI.
Источники
— Статья на arXiv: https://arxiv.org/abs/2609.17653
— Репозиторий проекта: https://github.com/ZJU-REAL/EvoSkill-GUI