Alpha вводит сбои в симуляцию робота
Исследование Alpha описывает способ проверять, на каких этапах роботизированный манипулятор может дать сбой при выполнении задачи с LLM-планировщиком. Версия v1 на arXiv датирована 21 октября 2026 года, а запись о работе появилась 23 октября. Метод рассчитан на симуляцию и разделяет причины неудач по этапам контура управления. Текст исследования на arXiv.
Четыре класса искусственно внесённых сбоев
Alpha моделирует задержку сенсора на этапе восприятия, проскальзывание захвата при исполнении, недостижимые цели обратной кинематики и повреждение выходных данных планировщика. В работе также рассматриваются сочетания сбоев. Такое разделение позволяет сопоставлять ошибки восприятия, физического исполнения и планирования, а не сводить их к одному показателю успешности.
Сравнение двух планировщиков
Автор сопоставил локальную Llama-3, запущенную через Ollama, с детерминированным планировщиком Scripted Oracle. В матрице было 150 симуляционных эпизодов: по 75 на каждый вариант. Начальные условия, геометрия задач, параметры физики и критерии мониторинга безопасности были одинаковыми.
По данным исследования, Scripted Oracle успешно завершил 48 из 75 эпизодов — 64%, а LLM-планировщик — 33 из 75, или 44%. Знаменатель для каждого процента — 75 эпизодов соответствующего планировщика.
Что меняется при исключении повреждения вывода
Если исключить эпизоды с повреждением выхода планировщика, в оставшихся физических и кинематических условиях оба варианта показали одинаковый результат: 33 успешных эпизода из 60, или 55%. Автор также сообщает, что в этой части не было несовпадающих пар результатов. Это связывает общий разрыв в данной матрице прежде всего с условиями повреждения вывода, но не доказывает, что LLM-планировщики в целом не уступают алгоритмическим.
Результат не измеряет надёжность физических роботов
Эксперимент автора охватывает одно симуляционное задание с настольным манипулятором и одну локальную модель; в ячейках интенсивности сбоя было по пять эпизодов. Это не независимое испытание и не проверка физического робота. Поэтому разницу 64% против 44% нельзя переносить на роботизированные системы в целом: она описывает только указанную симуляционную матрицу. Практический вывод исследования — отдельно учитывать сбои планировщика и физического контура, чтобы не смешивать разные причины неудач.
