В статье, опубликованной на arXiv 13 ноября 2026 года, авторы представили BirdDreams — модель мира для вождения, которая совместно генерирует видео с камеры автомобиля и схематичное видео дорожной сцены сверху. Для задания движения автомобиля модель использует этот вид сверху как геометрическое условие генерации. Метод и результаты описаны в статье на arXiv, версия которой датирована 10 ноября.
Два представления одной дорожной сцены
BirdDreams авторегрессионно предсказывает два видеопотока. Перспективное видео сохраняет детали, видимые с камеры, например внешний вид объектов и светофоры. Второй поток — BEV (bird’s-eye view), схематичный вид сверху: дороги и машины представлены простыми формами в фиксированном метрическом масштабе. По описанию авторов, такая проекция показывает положение и движение автомобилей с меньшим влиянием взаимных перекрытий.
Как связаны видео и вид сверху
За два потока отвечают отдельные видео-диффузионные трансформеры. Авторы связывают их совместным вниманием: во время генерации каждый поток может использовать информацию из другого. Поэтому модель одновременно предсказывает геометрию дорожной сцены сверху и визуальные детали перспективного видео, а не только накладывает готовую схему движения на изображение.
Траекторию задают через BEV
Для управления движением эго-автомобиля BirdDreams перемещает и поворачивает последний предсказанный кадр BEV вдоль заданной траектории. Полученные кадры становятся мягким условием генерации: они задают, как сцена выглядела бы при перемещении самого автомобиля. На этапе вывода модель создаёт оба потока из одного изображения камеры, без HD-карты и входных данных о состоянии автомобиля.
Такой механизм позволяет задавать путь эго-автомобиля, не подавая модели готовые будущие траектории окружающих машин: их движение входит в предсказываемую сцену. Это описанный авторами способ управлять симуляцией, а не свидетельство того, что модель проверена в реальном автономном автомобиле.
Какие результаты заявлены
На наборах PhysicalAI-AV и nuScenes авторы сообщают, что BirdDreams точнее следует заданным траекториям, чем предыдущие модели мира для вождения, и генерирует более правдоподобное движение эго-автомобиля без условия, задающего его действия. В человеческой оценке, также описанной в статье, модель превзошла вариант, генерирующий только перспективное видео, по реалистичности поведения окружающих машин.
Это результаты оценки авторов статьи, а не независимого тестирования. В статье не приведены сведения о цене или практической доступности BirdDreams; результаты на названных наборах данных сами по себе не устанавливают, как модель поведёт себя в реальном дорожном сценарии.




