В препринте T-WLA авторы описывают архитектуру управления манипуляциями, в которой зрительная ветвь планирует действия, а тактильная корректирует их по мере контакта. В тексте указаны частоты обработки 39,7 Гц для изображений и 119,1 Гц для тактильных данных. Авторы также сообщают о снижении ошибки предсказания движений пальцев и средней успешности около 50,0% на четырёх задачах с реальными роботами. Препринт T-WLA на arXiv.
Как зрительная память направляет тактильную коррекцию
При обновлении изображения зрительная ветвь объединяет RGB-кадр, инструкцию к задаче и историю наблюдений. Она формирует визуальную память и базовый фрагмент действий. Тактильная ветвь сохраняет эту память и использует её вместе с данными о контакте, чтобы корректировать ещё не выполненные действия. По описанию авторов, для такой поправки не требуется заново запускать зрительную ветвь.
Зрительная ветвь обрабатывает данные с частотой 39,7 Гц, тактильная — 119,1 Гц. Поэтому тактильная коррекция может поступать между обновлениями изображения, пока действие продолжается.
Какие результаты приводят авторы
Авторы оценивали предсказание движений руки с тактильными данными на наборах EgoTouch и Tachin, а также проверяли систему на четырёх реальных задачах ловкой манипуляции. В препринте сообщается, что T-WLA снизила MPJPE суставов пальцев на 30% относительно сильнейшего базового метода, приведённого авторами. Средняя успешность на четырёх задачах манипуляции на реальном роботе составила около 50,0%.
Что ограничивает выводы
Это результаты авторской оценки в конкретных задачах, описанных в версии 1 препринта arXiv:2610.28814. Доступные материалы не подтверждают независимую проверку или воспроизводимость результатов; показатели на двух наборах данных и четырёх роботизированных задачах сами по себе не устанавливают, как метод сработает на других роботах, задачах или в производственных условиях.
