22 октября 2026 года на arXiv появилась работа Real2Sem2Real (R2Sem2R): её авторы описывают способ превратить одну монокулярную RGB-видеозапись человеческой демонстрации в роботизированные обучающие эпизоды для разных предметов одной категории. Если подход работает в описанных условиях, он может сократить потребность записывать отдельную демонстрацию для каждого варианта предмета. Препринт Real2Sem2Real на arXiv датирован 20 октября.
От человеческого видео к данным для робота
На вход системе подают обычное монокулярное RGB-видео, где человек выполняет задачу с предметом. Далее Real2Sem2Real отслеживает позы объектов в трёхмерном пространстве, выравнивает цифровые аналоги предметов с объектами демонстрации и использует их для создания роботизированных эпизодов. Авторы называют такую последовательность переходом от реального к семантическому представлению и обратно к реальным роботизированным действиям.
Задача метода — перенести действие не только на объект из исходной записи, но и на другие семантически похожие экземпляры категории. Авторы сообщают, что цифровые аналоги могут быть созданы по одной или нескольким фотографиям.
Как сопоставляются предметы и действия
Для отслеживания позы объектов в пространстве SE(3) авторы применяют Gaussian splats, дистиллированные из признаков DINOv3. В препринте они заявляют, что этот подход превзошёл сопоставляемые методы и FoundationPose с оценённой метрической глубиной. Это сравнение — результат, сообщённый авторами, а не независимая оценка.
При переносе действия система семантически выравнивает цифровые аналоги с предметами из видео. Сопоставление, по описанию авторов, касается не только целого объекта, но и функциональных областей — например, поддона кофемашины. Такой способ задаёт место взаимодействия, важное для действия, даже если целевой экземпляр внешне отличается.
Что авторы заявляют о роботах и задачах
Авторы препринта заявляют, что оценивали метод на двух реальных роботах и четырёх задачах. По их сообщению, политики, обученные на данных одной видеодемонстрации для каждой задачи, на разных экземплярах предметов сравнялись с политиками, обученными телеоператором, или превзошли их.
В работе также заявлена генерация более 2 000 эпизодов примерно за два часа. Это число относится к созданным системой обучающим эпизодам, а не к 2 000 новым физическим демонстрациям, проведённым роботом.
Как выглядит практический сценарий
Человек один раз показывает действие на видео; система отслеживает позы объектов, переносит взаимодействие на цифровые аналоги и формирует роботизированные эпизоды. На них обучают политику, которую затем можно оценивать на экземплярах предметов, отличающихся от исходного.
Такой сценарий потенциально уменьшает необходимость записывать отдельные телеоператорские демонстрации для каждого варианта предмета. Однако обучение на созданных эпизодах не заменяет оценку политики на физическом роботе.
Границы заявленного результата
Числа о двух роботах, четырёх задачах и скорости генерации, как и сравнение с другими методами, приведены авторами препринта; независимой проверки этих результатов в доступных материалах нет. Они относятся к описанным в работе экспериментам и сами по себе не подтверждают, что метод будет работать так же с любыми предметами, действиями и роботами.
