Может ли робот учиться на физических попытках, если не всегда точно видит мяч и не знает безошибочно, где находится сам? Авторы нового препринта описывают эксперимент с двуногим NAO: их метод сочетает оценку состояния по бортовым датчикам с рекуррентной моделью, которая учитывает историю наблюдений. По сообщению авторов, после 30 минут взаимодействия робот забивал с нескольких начальных позиций; в сравнении при том же бюджете обучения его результат составил 100% успешных попыток против 0% у полносвязной политики. Это результат конкретного эксперимента, а не доказательство готовности метода для любых роботов и задач.
Почему роботу трудно учиться по собственным попыткам
Для обучения с подкреплением робот должен связывать свои действия с состоянием среды и получаемым вознаграждением. Но состояние не всегда доступно напрямую: мяч может оказаться вне поля зрения, а положение робота и мяча приходится оценивать по данным датчиков. Ошибки оценки способны исказить и входные данные политики — правила, по которым выбирается действие, — и, потенциально, сигнал вознаграждения. Авторы рассматривают именно эту проблему частичной наблюдаемости, а не задачу, в которой все координаты измеряются безошибочно.
В описанном подходе для оценки ключевых переменных состояния используется бортовой фильтр Калмана с несимметричным распределением (UKF). Авторы указывают, что внешняя аппаратура вроде системы захвата движения или камеры над площадкой не применялась. Описание эксперимента и метода на arXiv подчёркивает, однако, что оценка UKF может быть неверной, когда мяч не наблюдается. Это не мелкая погрешность измерения: если робот принимает неточное предположение за точное, обучение может опираться на искажённую картину происходящего.
Как сочетаются фильтр и рекуррентное представление
Второй компонент метода — рекуррентная модель пространства состояний (RSSM), формирующая внутреннее представление состояния по последовательности наблюдений. Важная особенность, которую отмечают авторы: латентное состояние RSSM корректируется только тогда, когда робот наблюдает мяч. Иными словами, модель не должна безоговорочно переносить ошибочную оценку положения мяча на моменты, когда его не видно.
Обучение названо RSSM-RLPD и построено на методе RLPD. Это не означает, что датчики внезапно дают точные координаты: подход добавляет обучаемое представление к оценке, уже получаемой на борту. Исследовательский вопрос здесь практический — может ли история наблюдений помочь пережить пропуски и ошибки текущей оценки достаточно хорошо, чтобы робот учился на физическом взаимодействии.
Что показал эксперимент с NAO
По аннотации работы, NAO учился вести футбольный мяч к воротам и забивать с нескольких начальных позиций после 30 минут взаимодействия с реальным роботом. Авторы сообщают о 100% успеха для RSSM-RLPD и 0% для полносвязной политики при одинаковом бюджете обучения. Эти проценты относятся к указанному сравнению в данном эксперименте; они не означают, что метод гарантирует гол при любой попытке или что робот стабильно справляется в произвольной обстановке.
В доступном описании не указано, сколько именно попыток вошло в подсчёт, как определялся успех и как распределялись старты. Поэтому нельзя оценить статистическую неопределённость разницы или понять, насколько результат меняется при других условиях. Сравнение важно как сообщённый авторами результат физического эксперимента, но не заменяет независимое воспроизведение.
Симуляция — отдельный результат
Кроме эксперимента с физическим роботом, авторы описывают исследование в симуляции. Там RSSM-RLPD, по их сообщению, достиг более высокой успешности, чем поведенческое клонирование, полносвязная модель и базовый вариант с GRU. Это отдельное сравнение: выводы из симуляции нельзя автоматически переносить на NAO в реальном мире, а точные численные результаты и условия этого сравнения в аннотации не приведены.
Статус работы и пределы вывода
На странице arXiv указана дата подачи версии статьи — 2 октября 2026 года; в комментарии сказано, что работа представлена на ICRA 2027. Речь идёт о препринте с описанием исследования, а не о серийном роботе или доступном готовом продукте. Результаты сообщают сами авторы; независимой проверки в доступных материалах нет.
Аннотация не раскрывает стоимость и доступность оборудования, лицензию, подробный протокол испытаний или размер серии попыток. Поэтому работа показывает способ сочетать бортовую оценку состояния с рекуррентным представлением для конкретной задачи, но пока не отвечает на вопрос, насколько легко его перенести на другие роботы, мячи и условия. Главный вывод ограничен экспериментом: по сообщению авторов, NAO смог обучиться забивать в описанной постановке за короткое взаимодействие, несмотря на частичную наблюдаемость.
