6 ноября 2026 года в arXiv появился препринт VREgo — системы, которая обучает политики манипуляции по демонстрациям, записанным на потребительскую VR-гарнитуру PICO 4 Ultra. Авторы проверяли метод в симуляции, поэтому работа показывает способ сбора данных, но пока не подтверждает замену специализированных устройств в реальном роботе. Источник: препринт Liuchuan Yu на arXiv.
Как устроена запись демонстрации
VREgo реализован с EgoKit и использует встроенное отслеживание головы и рук, а также стереолокализацию объектов. По описанию авторов, это позволяет оператору начать демонстрацию непосредственно у стола.
Обработка записи включает оценку порогов захвата для каждой демонстрации, обновление положений объектов после отпускания и перенос масок сегментации между ключевыми кадрами. Эти операции превращают наблюдение за действиями человека в данные для обучения политики управления роботом.
Сравнение PICO 4 Ultra и Project Aria
Оценка проходила в симуляции MuJoCo на двух настольных задачах; демонстрации записал один оператор. Для задачи с размещением куба записи PICO и Project Aria сделали на одних и тех же 41 раскладке. Обучение проводили на 40 демонстрациях, а политики проверяли на 100 оценочных раскладках.
В трёх запусках политики, обученные на записях PICO, разместили куб на подносе в 67, 74 и 60 случаях из 100. Для Project Aria авторы указали 73, 78 и 0 случаев из 100. Поэтому эти данные не показывают устойчивого превосходства одной гарнитуры: третий результат Aria резко отличается от первых двух.
Вторая задача выявила проблему с отпусканием
В двухэтапной задаче, записанной только с PICO, базовая политика разместила блок на подносе в 94 из 100 раскладок, но выполнила критерии обоих размещений лишь в 2 из 100 случаев. В одном диагностическом эпизоде повторное перепланирование отложило отпускание объекта за пределы восьми выполненных шагов.
При воспроизведении демонстраций авторы также обнаружили, что открытый захват мог сместить куб до его захвата. После адаптации траекторий и добавления правил исполнения, использующих положения объектов в симуляторе, оба критерия выполнялись в 93,8% эпизодов. Это число относится к симуляции, а не к испытаниям реального робота.
Что это меняет для практического применения
Препринт демонстрирует возможность использовать потребительскую гарнитуру для записи демонстраций, однако эксперимент ограничен двумя настольными задачами, одним оператором и симуляцией. В источнике нет независимого тестирования, а цена, доступность и надёжность VREgo при работе с реальным роботом не подтверждены. Поэтому результат пока означает не готовую замену специализированным очкам, а метод, который предстоит проверять на других операторах, задачах и аппаратных конфигурациях.
