В версии технического отчёта от 19 октября 2026 года авторы представили Embodied Playground — бенчмарк для оценки того, как агенты на базе фундаментальных моделей справляются с продолжительными робототехническими задачами. Он объединяет сценарии, где нужно выполнять физические действия, планировать последовательность шагов, учитывать промежуточные условия и менять план по обратной связи. Описание Embodied Playground на arXiv.
Бенчмарк охватывает задачи с несколькими этапами
Авторы описывают задачи, в которых ранние действия влияют на последующие решения. Агенту нужно отслеживать прогресс и промежуточные условия, планировать дальнейшие шаги и учитывать результат исполнения. Поэтому бенчмарк объединяет физическое исполнение, стратегическое планирование и пространственное рассуждение, а не проверяет только отдельные движения робота.
EP-100 — выборка из каталога на 410 сред
По описанию авторов, каталог включает 410 сред для робототехнических задач: от базовых манипуляций до последовательных головоломок и многоэтапных бытовых сценариев. EP-100 — не весь каталог, а отобранный набор из 100 задач в пяти группах и 16 типах задач. В отчёте также названы варианты EP-Easy и EP-Hard и компактная выборка EP-20.
Протокол учитывает цель, правила и физическое исполнение
Общий протокол задаёт доступные агенту наблюдения и инструменты, бюджет ресурсов и повторные попытки. Оценка отдельно учитывает достижение цели, соблюдение правил задачи и физическую корректность исполнения. Благодаря этому можно различать достижение результата с нарушением условий сценария и физически некорректное действие.
Что позволяет оценить описание
Embodied Playground представлен как исследовательский бенчмарк, а не как серийный робот или готовый продукт для покупателей. Технический отчёт описывает состав задач и способ их оценки; численные результаты сравнительного тестирования в приведённом описании не указаны. Поэтому эти сведения объясняют, что именно авторы предлагают измерять, но сами по себе не устанавливают, какая модель справляется лучше.
