21 октября 2026 года NVIDIA представила на arXiv модель EgoHand для восстановления трёхмерной позы рук по монокулярному видео от первого лица. Такой подход может помочь извлекать данные о движениях рук из обычных эгоцентрических записей без многокамерной съёмки во время применения модели — например, для анализа манипуляций, VR/AR и подготовки данных для робототехники.
EgoHand восстанавливает 3D-позу рук по эгоцентрическому видео
Модель рассчитана на записи, где камера находится рядом с головой или закреплена на пользователе. На выходе она оценивает геометрию кисти и положение суставов в трёхмерном пространстве. В отличие от распознавания силуэта или 2D-координат, системе нужно восстановить также глубину и положение руки относительно камеры.
Обучение на синтетических и реальных данных
По описанию авторов, для обучения использован корпус из 14 миллионов изображений. В него вошли синтетические изображения рук, видео из реальных условий и данные многокамерной съёмки движений. Синтетическая часть обеспечивает точные геометрические метки и разнообразие внешнего вида, реальные видео добавляют разные сцены, а многокамерные записи — 3D-аннотации движений.
EgoHand использует параметрическое представление кисти SOMA-Hand и трансформерный энкодер, который обрабатывает обрезанный фрагмент изображения с рукой. Модель учитывает положение этого фрагмента относительно камеры. Отдельная ветвь предсказывает 2D-суставы и, по описанию авторов, уточняет боковое положение запястья, тогда как глубину выдаёт 3D-ветвь.
Заявленные оценки на HOT3D, ARCTIC и H2O
Авторы сообщают о zero-shot-оценках на наборах HOT3D, ARCTIC и H2O — то есть без дообучения модели под конкретный набор данных. В препринте NVIDIA заявляет, что EgoHand показала меньшие ошибки положения суставов, переноса корня кисти и ускорения, чем сравниваемые базовые методы. Указанная задержка инференса составляет примерно 9,01 мс.
В отдельном слепом пользовательском исследовании, как утверждают авторы, участники чаще выбирали реконструкции EgoHand, чем результаты Apple EgoDex и Ropedia Xperience-10M. Это показатель пользовательского предпочтения, а не измерение точности восстановления 3D-координат.
Что доступно и какие есть ограничения
Авторы заявляют, что выпустили модель и исходный код под лицензией OpenMDW, допускающей бесплатное коммерческое использование модели. При этом бесплатная лицензия не отменяет требований к совместимому оборудованию, вычислительным ресурсам и интеграции с конкретным видеопотоком. В доступной работе нет независимых бенчмарков и данных о стоимости эксплуатации; заявленная задержка также не доказывает одинаковую точность при сильных перекрытиях рук, необычном освещении, резких движениях или на любых других типах видео.
Таким образом, EgoHand предлагает исследовательский способ получать 3D-данные о руках из эгоцентрического видео. Приведённые показатели относятся к оценкам из препринта NVIDIA, поэтому перед использованием в продукте их нужно сопоставить с собственными записями, требуемой точностью и допустимой задержкой.
