Исследователи из Пекинского университета, Университетского колледжа Лондона и DataCanvas представили RepresentNav — модель навигации для роботов, которая не просто обрабатывает изображения с камеры, а строит собственное представление сцены, настроенное под задачу перемещения, и перед каждым шагом прогнозирует, как это представление изменится в ближайший момент. Препринт опубликован на arXiv 26 октября 2026 года.
Ключевое отличие RepresentNav от существующих подходов — связка двух механизмов. Первый, названный авторами Representation Residuals, представляет собой компактный трёхслойный трансформер, который извлекает признаки из нескольких предобученных визуальных моделей (vision foundation models) на разных глубинах их архитектуры. Вместо того чтобы просто склеивать выходы этих моделей, трансформер учится выбирать и комбинировать те признаки, которые действительно нужны для навигации. Второй механизм — «сновидение» (dream): перед каждым действием модель в том же пространстве представлений предсказывает, какой будет сцена через один временной шаг. Это предсказание обучается как часть общей политики с помощью архитектуры совместного предсказания вложений (JEPA) с функцией потерь на предсказание следующего представления и регуляризатором на целевые значения.
Авторы сообщают, что одно такое латентное предсказание позволяет декодировать глубину, семантику и трёхмерную занятость сцены на момент вперёд точнее, чем предобученные модели, применённые к реальному будущему кадру. В анализе утверждается, что «сновидение» сокращает число столкновений на четверть.
По данным препринта, на fine-grained benchmark VLNVerse success rate составил 83,80% — на 20,05 процентного пункта выше предыдущего рекорда. На EVT-Bench distracted tracking модель достигла 85,5% с одной камерой, что на 10,1 процентного пункта выше указанного авторами сравнения. Как сообщают авторы, RepresentNav устанавливает новый state of the art на VLNVerse, VLN-CE R2R, EVT-Bench и двух бенчмарках point-goal.
Авторы также сообщают о переносе результатов на физического робота, работающего среди препятствий и движущихся людей. Однако это заявление основано на внутренних тестах разработчиков, а не на независимой проверке.
Все численные результаты и сравнения в этой новости атрибутированы авторам препринта. Независимых испытаний RepresentNav в предоставленных материалах нет. Препринт описывает исследовательский прототип; о сроках коммерческого развёртывания, стоимости или открытом коде модели авторы не сообщают.
