Microsoft Research представила Echoverse — платформу для создания и эволюции синтетических сред, в которых обучаются computer-use агенты (агенты, способные работать с компьютерным интерфейсом). Вместо того чтобы просто наращивать количество тренировочных задач, Echoverse замыкает цикл: каждая неудача агента становится сигналом для улучшения самой среды, её задач и верификаторов. В эксперименте модель на 9B параметров повысила точность с 36,5% до 67,1%, что лишь на 14 пунктов ниже показателя GPT-5.4.
Проблема: реальные сценарии остаются за экраном
Современные computer-use агенты хорошо справляются с простыми действиями в открытых веб-интерфейсах, но терпят неудачу на многошаговых рабочих процессах — в электронной почте, поддержке клиентов, банковских системах, облачных консолях и медицинских записях. Эти системы закрыты: нельзя тренировать агента на живом аккаунте — каждое действие записывается, состояние не сбрасывается, а последствия реальны. Синтетические миры, где база данных принадлежит разработчику, решают эту проблему, но требуют глубины: простое копирование внешнего вида интерфейса не даёт агентам научиться причинно-следственным связям.
Как устроен Echoverse
Echoverse — это не набор готовых миров, а пайплайн, который строит среду, задачи и верификаторы как единую систему. Каждый мир состоит из трёх компонентов: приложение (его состояние, логика, действия), задачи (цели, которые ставит агенту) и верификатор, оценивающий результат по истинному состоянию базы данных, а не по скриншоту. Пайплайн разворачивает приложение на FastAPI и SQLite с React-интерфейсом, генерирует спецификации из небольшого набора сценариев, а затем проверяет каждое утверждение о поведении мира, пока все тесты не будут пройдены.
Ключевые результаты эксперимента
| Параметр | Значение |
|---|---|
| Модель до обучения на Echoverse | 36,5% |
| Модель после обучения на 12 мирах Echoverse | 67,1% |
| GPT-5.4 (для сравнения) | ≈81% |
| Количество миров | 12 (10 предметных, 2 тренировочных) |
| Архитектура мира | FastAPI + SQLite + React |
Глубина важнее количества
Исследователи выделяют пять свойств, которые отличают «глубокий» мир от поверхностного: поведенческая точность (контролы, разрешения, ошибки следуют логике реального продукта); согласованное состояние (отправленное сообщение появляется у получателя, отмена встречи очищает оба календаря); глубина рабочего процесса (ранний выбор влияет на дальнейшие события); авторитетная верификация (оценка по состоянию приложения, а не по пикселям); практическая ценность (рабочий процесс стоит улучшать). В системах, которые люди хотят автоматизировать, сложность кроется в правах доступа, разделяемом состоянии и истории аудита — именно эту структуру воспроизводят миры Echoverse.
Цикл улучшения вместо статичного бенчмарка
Обычное дообучение улучшает только модель. Echoverse же на каждом прогоне измеряет не только успехи агента, но и слабые места мира — и дорабатывает его. Если агент не может выполнить задачу, система определяет, какой слой нужно изменить: базу данных, бэкенд, фронтенд, текст задачи или верификатор. Специализированные фиксы применяют исправления, и мир становится более требовательным или более точным. Такой коэволюционный подход предотвращает насыщение статического бенчмарка: мир растёт вместе с агентом.
Почему это важно для разработчиков агентов
Для тех, кто строит автономных агентов для работы с интерфейсами, Echoverse предлагает практический рецепт: вместо того чтобы гоняться за всё новыми наборами данных, можно сфокусироваться на качестве среды обучения. Особенно ценно, что метод работает для закрытых корпоративных систем — почты, CRM, облачных консолей — где нет возможности тренироваться на живых данных. Открытые сайты, лишённые авторизации, не подходят для обучения из-за изменчивости контента и блокировок автоматизированного трафика; синтетический мир, напротив, стабилен и полностью контролируем.
Источник: Microsoft Research — «Echoverse: Deep, evolving environments for computer-use agents» (https://www.microsoft.com/en-us/research/blog/echoverse-deep-evolving-environments-for-computer-use-agents/)