Apple выпустила Depth Pro — новую модель для оценки глубины по одному изображению. Релиз сопровождался публикацией статьи на arXiv, весами модели на Hugging Face и демо-приложением. Depth Pro строит карты глубины с высоким разрешением (до 2.25 мегапикселя) за 0.3 секунды на GPU уровня A100. При этом модель не требует метаданных камеры — ни фокусного расстояния, ни размера сенсора. Разбираемся, что это даёт на практике и стоит ли внедрять в свои проекты.
Как работает Depth Pro
Depth Pro относится к классу monocular depth estimation — оценка глубины по одному изображению. Ключевое отличие от предшественников (MiDaS, DPT, ZoeDepth) в том, что Depth Pro не привязана к конкретной камере. Обычные модели требуют знать фокусное расстояние или хотя бы кроп-фактор, иначе глубина искажается. Depth Pro обходится без этого: метрическая глубина восстанавливается прямо в метрах.
В основе — Vision Transformer (ViT) с модифицированной головой для плотного предсказания. Модель обучена на смеси синтетических и реальных датасетов, включая Hypersim, Replica, ScanNet и собственные внутренние данные Apple. Размер модели — около 1.3 млрд параметров. На выходе получается карта глубины с разрешением до 2256×1504 пикселей — это в 15 раз больше, чем у типичных решений.
Сравнение Depth Pro с конкурентами
Чтобы понять, насколько Depth Pro выигрывает, сравним её с популярными open-source моделями по ключевым параметрам. Данные взяты из официальных статей и бенчмарков:
| Модель | Разрешение выхода | Метрическая глубина | Скорость (A100) | Зависимость от калибровки |
|---|---|---|---|---|
| Depth Pro | до 2256×1504 px | Да | 3 с | Нет |
| MiDaS v3.1 | 384×384 px | Нет | 1 с | Да |
| DPT (Large) | 384×384 px | Нет | 4 с | Да |
| ZoeDepth | 384×384 px | Да (после калибровки) | 2 с | Да |
| Metric3D | произвольное | Да | ~0.5 с | Да |
Depth Pro проигрывает по скорости маленьким моделям вроде MiDaS, но даёт на порядок большее разрешение и реальную метрику без калибровки. Для приложений, где нужна точная форма объекта или дистанция, это серьёзное преимущество. Однако если ваш пайплайн требует инференса на CPU или мобильном устройстве, 0.3 секунды на A100 превращаются в минуты.
Практические сценарии использования
Генерация изображений и видео. Depth Pro может служить источником карт глубины для ControlNet, Stable Diffusion и других моделей, управляемых геометрией. В отличие от MiDaS, карта будет метрически точной — объекты на переднем плане не «слипнутся» с фоном. Это особенно полезно для генерации сцен с чёткой перспективой, например, интерьеров или городских пейзажей.
AR и робототехника. Для размещения виртуальных объектов в реальной сцене нужна геометрия. Depth Pro даёт её с одного кадра, без предварительной калибровки камеры устройства. Это упрощает пайплайны для iOS-приложений, дронов и мобильных роботов. Например, можно мгновенно оценить расстояние до препятствия или поверхность для размещения AR-объекта.
Редактирование фото. Карты глубины позволяют отделять передний план от фона, делать реалистичное боке или ретушь с учётом перспективы. Depth Pro работает в полном разрешении — не нужно апскейлить выход, как в случае с MiDaS или DPT. Это даёт более точное выделение краёв волос, листьев и других сложных текстур.
Ограничения, которые стоит учитывать
Depth Pro — исследовательская модель, а не продукт Apple. На данный момент нет ни Core ML-пакета для iOS, ни Metal-оптимизаций. Запуск на устройстве без GPU уровня A100 будет медленным: на RTX 3090 инференс занимает около 1 секунды, на M1 Ultra — до 5 секунд. Для продакшена это может быть критично.
Модель чувствительна к текстурам: на гладких однородных поверхностях (стены, небо, вода) глубина может «плавать». В статье авторы отмечают, что точность падает на сценах с прозрачными и отражающими объектами. Например, стеклянные фасады или зеркала вводят модель в заблуждение — глубина на таких участках часто ошибочна.
Лицензия весов — исследовательская (Apple Sample Code License). Коммерческое использование формально возможно, но требует проверки условий: Apple может запретить использование в продуктах-конкурентах или в системах, нарушающих их политику. Перед внедрением стоит проконсультироваться с юристом.
Что дальше: как протестировать модель
Релиз Depth Pro — сигнал, что Apple продолжает инвестировать в фундаментальные модели компьютерного зрения. Для разработчиков это означает появление доступного инструмента для задач, где раньше приходилось выбирать между скоростью и точностью.
Полезно проверить: работает ли Depth Pro на ваших данных. Демо доступно на Hugging Face — загрузите несколько тестовых изображений: портреты, уличные сцены, интерьеры. Сравните выход с текущим пайплайном (MiDaS или ZoeDepth) по трём критериям: точность метрической глубины, качество выделения границ, скорость инференса на вашем оборудовании. Если модель окажется стабильной, её можно интегрировать в фоторедакторы, AR-инструменты или пайплайны генерации контента. Однако для мобильных устройств пока стоит ждать официальной оптимизации от Apple.