В экспериментах авторов на TriSAR-3D PaintFusion получил наибольшее из четырёх опубликованных значений AP@50 — 65,4. Для него же авторы указали задержку 51,6 мс на кадр, для BEVFusion — 101 мс. Это результаты препринта, а не независимое сравнение или проверка в реальной спасательной операции.
AP@50: сравнение на TriSAR-3D
В сравнении авторов PaintFusion набрал 65,4 AP@50; Tri-BEVFusion — 60,7; BEVFusion — 60,5; CenterPoint — 53,4. Разница PaintFusion с ближайшим результатом, Tri-BEVFusion, составляет 4,7 пункта.
| Метод | Модальности по описанию авторов | AP@50 на TriSAR-3D | Задержка на кадр |
|---|---|---|---|
| PaintFusion | LiDAR, RGB и тепловые данные | 65,4 | 51,6 мс |
| CenterPoint | Только LiDAR | 53,4 | Не указана |
| BEVFusion | RGB и LiDAR | 60,5 | 101 мс |
| Tri-BEVFusion | Адаптированный трёхмодальный вариант | 60,7 | Не указана |
Значения AP@50 в таблице сообщены авторами препринта для TriSAR-3D; это не независимые тесты.
Авторы описывают PaintFusion как метод объединения данных LiDAR, RGB и теплового изображения с помощью MLP. Его результат выше показателей трёх перечисленных базовых методов в этом сравнении, но сам по себе не устанавливает преимущество на других наборах данных или конфигурациях.
Задержка: опубликованы два значения
Авторы указывают 51,6 мс на кадр для PaintFusion и 101 мс для BEVFusion. Разница между этими задержками — 49,4 мс. Сопоставимых значений для CenterPoint и Tri-BEVFusion в доступном тексте нет, поэтому сравнить скорость всех четырёх методов нельзя.
Эти цифры позволяют сопоставить только указанные авторами задержки. Они не устанавливают частоту обработки в готовой спасательной системе: для её оценки необходимы сведения о вычислительном оборудовании и полном конвейере.
Разнообразие поз в обучении влияет на результат
Авторы проверили обобщение на категории поз, не представленные в обучении. При исключении лежащих людей из обучающих данных AP@50 для лежачей позы упал почти до нуля у всех оценённых детекторов. Этот результат относится к описанному эксперименту и показывает, что дополнительные сенсорные данные не заменяют примеры тех поз, которые система должна распознавать.
Для поисково-спасательной задачи важно оценивать не только общий показатель, но и качество на релевантных позах и условиях видимости. Результат с лежачими людьми не доказывает, что все детекторы будут так же работать в любых условиях без таких примеров.
Какой метод подходит для разных условий
Если нужен наибольший опубликованный AP@50 именно на TriSAR-3D и доступна трёхмодальная конфигурация, PaintFusion — наиболее сильный кандидат среди этих четырёх по результатам авторов. Если сравнивать только приведённые задержки, его значение ниже, чем у BEVFusion. Сравнить задержку PaintFusion с CenterPoint или Tri-BEVFusion по доступным цифрам нельзя.
CenterPoint служит LiDAR-only ориентиром и имеет наименьший AP@50 в таблице. BEVFusion использует RGB и LiDAR: его AP@50 равен 60,5, а задержка — 101 мс. Tri-BEVFusion набрал 60,7, но его задержка не приведена. Поэтому выбрать между двумя последними по скорости на основании этих данных нельзя.
Для сценариев с необычными позами решающим условием становится наличие таких примеров в обучении и оценке. Все приведённые числа сообщены авторами препринта для TriSAR-3D; независимых тестов этих методов в доступных материалах нет. Сравнение методов и описание экспериментов в препринте arXiv.
Что ограничивает сравнение
Авторы приводят AP@50 для четырёх методов и задержки только для PaintFusion и BEVFusion. Эксперимент с позами описывает конкретный случай исключения лежащих людей из обучения. Поэтому таблица сравнивает опубликованные результаты на TriSAR-3D, но не заменяет испытания на целевом оборудовании и данных конкретной поисково-спасательной задачи.
