В препринте, опубликованном 4 ноября 2026 года, исследователи представили Spatial-UMI-Dream — модель, которая совместно предсказывает будущие изображения, метрическую глубину и действия робота. В авторской оценке она показала 72,15% успеха в симуляции при совместном изменении среды и роботной платформы; на шести реальных задачах средний результат составил 85,0%. Это результаты авторских испытаний, а не независимая проверка.
Модель и двухэтапное обучение
Авторы описывают Spatial-UMI-Dream как пространственную World Action Model с 5 млрд параметров, предварительно обученную на 605 часах RGB-D-данных UMI. RGB-D объединяет цветное изображение и информацию о глубине. По замыслу исследователей, метрическая глубина делает масштаб сцены и расположение предметов явными, тогда как изображения с движущихся камер на захватах могут не давать устойчивой внешней точки отсчёта.
Обучение проходит в два этапа. Сначала модель адаптируют к RGB-D-наблюдениям UMI без совместного обучения предсказанию действий. Затем её обучают совместно предсказывать будущее RGB-изображение, метрическую глубину и действия. Так описан метод в препринте авторов на arXiv.
Бенчмарк для проверки переноса
Для симуляционных испытаний авторы представили RoboTwin-UMI — бенчмарк из 20 задач с наблюдениями от камер типа «рыбий глаз», установленных на запястьях роботов. Он предназначен для контролируемой проверки изменений среды и роботной платформы по отдельности и вместе, без дополнительной настройки политики. Поэтому результаты показывают работу на заданных в бенчмарке условиях, а не на всех возможных роботах и задачах.
Результаты в симуляции
В RoboTwin-UMI Spatial-UMI-Dream достигла 79,10% успеха в исходных условиях и 72,15% при совместном изменении среды и роботной платформы. Авторы сообщают, что эти результаты выше сильнейшего из сравнивавшихся базовых вариантов на 4,65 и 10,30 процентного пункта соответственно. В сопоставительном абляционном эксперименте предварительное обучение только на RGB сопровождалось снижением успеха в исходных условиях на 5,75 процентного пункта по сравнению с RGB-D. Это поддерживает объяснение авторов о пользе глубины в их эксперименте, но не устанавливает универсальный эффект для других задач.
Шесть задач с реальным роботом
Для серии из шести реальных задач авторы сообщают о среднем успехе 85,0% и преимуществе в 24,2 процентного пункта над сильнейшим базовым вариантом в их сравнении. Среднее по этой серии не следует трактовать как общую оценку надёжности роботов или результат для массового применения.
Границы результатов
Препринт описывает метод и авторскую оценку в симуляции и на шести реальных задачах; независимой проверки в доступных материалах нет. Эти испытания не подтверждают готовность модели к серийному применению и не позволяют оценить стоимость внедрения. Источник: препринт Spatial-UMI-Dream на arXiv, опубликованный 4 ноября 2026 года.
