PriDex превращает видео людей в данные для двуручных роботов
16 ноября 2026 года на arXiv вышла первая версия препринта PriDex — метода подготовки данных для двуручных роботов на основе видео с действиями людей. Подход не переносит человеческие движения на робота напрямую: он извлекает из видео сигналы о взаимодействии с объектами, а затем уточняет их в симуляции с учётом возможностей конкретной роботизированной системы.

Практическое изменение в описанной авторами схеме состоит в том, что человеческое видео становится исходным материалом для генерации роботизированных демонстраций, а не готовой траекторией для непосредственного копирования.
Какие сигналы метод извлекает из видео
Сначала PriDex анализирует взаимодействие человека с объектами. Эти данные дают подсказки о важных для задачи областях захвата, после чего метод выбирает подходящие роботизированные захваты среди кандидатов, построенных на геометрии объектов.
Для движения система использует два взаимодополняющих ориентира: траекторию объекта и относительные траектории запястий обеих рук. Если движение объекта в видео оценивается уверенно, больший вес получает объектный сигнал. При перекрытиях или визуальной неоднозначности метод увеличивает вклад траекторий запястий. Так авторы описывают способ сохранить структуру взаимодействия, не требуя от робота повторять человеческую кинематику.
От симуляции к обучению зрительной политики
Полученные видеоприоры уточняются обучением с подкреплением в симуляции. В процессе учитываются кинематические и физические ограничения конкретного робота, поэтому итоговое движение должно быть не копией человеческой траектории, а вариантом, выполнимым для роботизированного тела.
Затем политики запускаются в симуляции для генерации демонстраций робота. В препринте эти демонстрации используют для обучения зрительной диффузионной политики — модели, связывающей визуальное наблюдение с действиями манипулятора.
Четыре задачи, на которых оценивали подход
Авторы оценивали PriDex на четырёх двуручных задачах: наливании, сметании предметов в совок, откручивании крышки бутылки и очистке тарелки. В работе рассматриваются как генерация роботизированных данных в симуляции, так и последующее обучение зрительной моторной политики.
Набор включает задачи с координацией рук, контактом с поверхностью и последовательным взаимодействием с предметами. Это показывает заявленный авторами диапазон сценариев оценки, но не доказывает работу метода на любых объектах или роботах.
Что показано и где заканчиваются выводы препринта
PriDex следует описывать как исследовательский метод из препринта, а не как серийную технологию или готовый продукт. Источник сообщает об архитектуре подхода и оценке на четырёх задачах, однако не подтверждает независимую проверку, массовую эксплуатацию, стоимость, доступность кода или универсальность метода за пределами описанных сценариев. Для читателя результатом публикации становится конкретная схема подготовки данных из человеческих видео, а не доказательство того, что любой двуручный робот уже сможет надёжно выполнять эти действия.








