Версия 1 обзорной статьи, датированная 13 октября 2026 года, систематизирует способы дообучения мультимодальных больших языковых моделей для пространственных задач. Авторы выделяют четыре подхода к созданию аннотаций и отмечают, что результаты исследований трудно напрямую сравнивать из-за различий в оценке. Для робототехники это означает, что одной итоговой цифры недостаточно: важно знать, какие пространственные ошибки проверяет тест и как он их считает. Обзор на arXiv.
Какие пространственные задачи вызывают трудности
Авторы указывают, что модели могут описывать объекты на изображении, но ошибаться в отношениях между ними. В статье приведены примеры вопросов о взаимном расположении предметов, расстоянии между ними, сравнении размеров и виде сцены с другого ракурса. В робототехническом сценарии такие ошибки могут повлиять на интерпретацию сцены, поэтому важно проверять не только распознавание объектов, но и пространственные выводы модели.
Четыре способа подготовить аннотации
Обзор выделяет правила и шаблоны, запросы к языковым моделям, процедурную генерацию и подготовку данных с участием человека. Это классификация рассмотренных в статье способов создавать фиксированные пространственные аннотации. Она не устанавливает, что один подход всегда даёт более качественные данные: такого сравнительного вывода обзор не заявляет.
Почему оценки нельзя свести к одной цифре
Авторы отмечают различия в способах подсчёта, метриках допустимого отклонения и типах бенчмарков. Поэтому результаты, полученные на разных тестах или по разным правилам, нельзя автоматически считать сопоставимыми. При оценке модели для робота следует смотреть, какую задачу измеряет бенчмарк и какие ошибки он допускает.
Границы выводов
Статья рассматривает опубликованные подходы к дообучению предварительно обученных моделей — от обучения с учителем до обучения с подкреплением — с акцентом на данные. Это обзор, а не новый сравнительный эксперимент: он не доказывает, что конкретный способ дообучения устраняет пространственные ошибки в реальном роботе или превосходит альтернативы.
