Новая парадигма репрезентации физического мира
Исследователи представили проект Code-as-World, предлагающий принципиально новый взгляд на то, как мультимодальные модели могут понимать законы физики из видеоматериалов. Авторы подхода исходят из того, что пиксели на экране представляют собой лишь внешнее проявление сцены, а не ее внутреннюю онтологию. Современные видеомодели способны генерировать правдоподобные кадры, однако они далеко не всегда задействуют понятия массы, трения, контактов или гравитации. Вместо того чтобы полагаться исключительно на пиксели, скрытые латентные пространства или текстовые описания, проект предлагает кодировать сцену в виде исполняемого кода.
Особенности архитектуры и исполняемые сцены
В основе разработки лежит концепция исполняемого представления мира, которая компилируется в файл сценария scene.json, запускаемый в физическом движке MuJoCo. Система использует два взаимозаменяемых механизма: анимационный движок для кинематических поз и физический движок, рассчитывающий силы и контакты. Восстановление такого кода из видеоматериала представляет собой обратную задачу, которую разработчики решили через абдуктивный поиск. Специальный агент выполняет итеративный цикл, состоящий из генерации гипотезы, создания сцены, ее выполнения, рендеринга и верификации на протяжении до пяти шагов.
Использование передовых инструментов компьютерного зрения
Для обработки входного видеосигнала система задействует комплекс проверенных библиотек и моделей. Инструмент SAM 3 отвечает за выделение масок экземпляров объектов и их отслеживание в плоскости изображения, VGGT-Omega оценивает глубину и геометрию камеры, а SAM 3D строит трехмерные меши для каждого объекта. Полученные кандидаты проецируются обратно в исходную перспективу и сравниваются по ключевым кадрам с точки зрения RGB-данных, глубины, масок и траекторий движения. Возникающие расхождения формируют структурированную обратную связь, направляющую следующую итерацию поиска.
Обучение моделей и результаты на бенчмарках
Созданные верифицированные миры служат точными тренировочными данными с явными физическими метками. Процесс обучения включает контролируемую тонкую настройку и метод оптимизации групповых предпочтений на базе синтетических и видеопространственных миров. На тестовом наборе QuantiPhy модель Code-as-World-VL-9B продемонстрировала показатель 55.4 по метрике MRA, опередив такие решения, как Gemini-3.1 Flash с показателем 54.8, а также ряд других открытых альтернатив. Полноценная поддержка моделей доступна разработчикам через репозиторий проекта с открытым исходным кодом под лицензией Apache 2.0.
Характеристики и параметры реализации
ПараметрыЗначениеИсточникMarkTechPostДата публикации2026-08-30Основной движокMuJoCoФормат моделейBF16 safetensors / vLLMЛицензияApache 2.0
Что пока не подтверждено
На текущем этапе большинство результатов получено в рамках академических бенчмарков и внутренних лабораторных прототипов. Требуется дополнительная независимая проверка масштабируемости метода на более разнообразных и динамичных реальных сценах, содержащих сложные деформируемые объекты и скрытые физические взаимодействия.
Практическое значение для разработчиков
Новый метод открывает перспективы для интеграции физически достоверных симуляций в пайплайны робототехники и компьютерного зрения. Инженеры могут использовать репозиторий для собственных экспериментов с симуляцией реальных видеопотоков, однако перед внедрением в производственные контуры рекомендуется детально изучить требования к вычислительным ресурсам и ограничениям движка MuJoCo.
Источник: https://www.marktechpost.com/2026/08/29/mirros-code-as-world-executable-world-representations/
Datos clave
| Punto | Detalle |
|---|---|
| Fuente | MarkTechPost |
| Fecha | 2026-08-30T01:35:02+00:00 |
| Tema | Meet ‘Code-as-World’: An Agentic Loop That Rewrites Real Videos Into Executable MuJoCo Physics Programs |