Авторы препринта Heartian: Physiology-Aware Relightable Gaussian Head Avatar предложили добавить к цифровой модели головы управляемые изменения цвета кожи, связанные с сердечным циклом. Метод рассчитан на аватары, построенные из трёхмерных гауссианов, и сохраняет физиологический сигнал после рендеринга.
Работа была представлена на arXiv 26 сентября 2026 года и пока имеет статус препринта. Заявленные результаты следует считать оценкой самих авторов: сведений о независимом воспроизведении в доступных материалах нет.
Пульс кодируется в альбедо кожи
Большинство Gaussian-аватаров реконструирует лицо как совокупность трёхмерных гауссианов с параметрами положения, формы, прозрачности и внешнего вида. Такая модель может передавать движение головы и мимику, а поддержка relighting позволяет менять освещение сцены. При этом собственный цвет поверхности — альбедо — обычно считается стабильным во времени.
Heartian изменяет это допущение для участков кожи. Система получает синхронизированный контактный PPG-сигнал и использует его для покадровой модуляции альбедо гауссианов лица. Речь идёт о небольших цветовых колебаниях, возникающих из-за изменения объёма крови в тканях в течение сердечного цикла.
Авторы описывают пульсовую волну как сумму двух гауссовых функций. Лёгкая многослойная нейросеть, или MLP, предсказывает пространственные остаточные поправки: благодаря им изменение цвета распределяется по поверхности лица, а не применяется ко всем участкам одинаково.
Метод не определяет пульс человека самостоятельно. Heartian воспроизводит заранее поданный физиологический сигнал, полученный контактным датчиком, и встраивает его в материал аватара. Поэтому работу корректнее рассматривать как систему управляемого физиологического рендеринга, а не как новый медицинский измеритель.
Два уровня проверки дали разные значения ошибки
Эксперименты охватили 152 стационарные записи из наборов UBFC-rPPG, PURE и MMPD. Количество записей здесь не следует автоматически трактовать как количество уникальных участников: такой разбивки в аннотации препринта нет.
Авторы проверяли результат на двух уровнях. Сначала они измеряли, насколько точно заданный сигнал сохраняется во внутреннем пространстве атрибутов Heartian. Объединённая по записям средняя абсолютная ошибка частоты сердечных сокращений составила 0,29 уд/мин, а средняя абсолютная процентная ошибка — 0,38%.
Затем пульс пытались извлечь уже из готовых кадров аватара. Это более показательная проверка, поскольку рендеринг, освещение и обработка изображения могут ослабить заложенные цветовые колебания.
Лучший заявленный результат получен с модифицированным декодером TS-CAN, предобученным на UBFC-rPPG и дополненным аугментациями движения. На рендерах аватаров из MMPD модель восстановила частоту сердечных сокращений со средней абсолютной ошибкой 0,97 уд/мин и процентной ошибкой 1,21%.
TS-CAN относится к семейству моделей для бесконтактной оценки показателей жизнедеятельности по видео. Базовая архитектура описана в работе Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement. Указание конкретного декодера существенно: результаты Heartian нельзя автоматически переносить на любой rPPG-алгоритм или произвольную видеоплатформу.
MMPD создавался как набор мобильных видеозаписей для проверки rPPG в разных условиях. Его устройство и ограничения описаны в отдельной публикации о датасете. В Heartian использовались стационарные фрагменты, поэтому опубликованные метрики не показывают устойчивость к активным поворотам головы, жестикуляции или быстрым изменениям освещения.
Визуальная реконструкция почти не ухудшилась
Добавление физиологической модуляции могло привести к мерцанию кожи или ухудшить сходство с исходными кадрами. По данным авторов, среднее снижение PSNR относительно базового аватара составило 0,005 дБ. Это небольшая разница, указывающая на отсутствие заметной потери качества по данной метрике.
Однако PSNR оценивает попиксельное соответствие и не отвечает на все вопросы о восприятии лица человеком. В доступном описании не приведены результаты пользовательской оценки, отдельный анализ артефактов на разных оттенках кожи или сравнение при сложном динамическом освещении.
Практическая ценность подхода состоит в разделении освещения и физиологических изменений материала. Если цветовые колебания записывать непосредственно в итоговую текстуру без такого разделения, система может смешать пульс с тенями, экспозицией камеры или изменением направления света. Heartian пытается представить сердечный цикл как отдельный управляемый атрибут аватара.
Для разработчиков 3D-персонажей это может стать дополнительным каналом управления наряду с мимикой и позой. Для исследователей rPPG метод интересен как способ создавать синтетические рендеры с известным целевым сигналом. Вместе с тем препринт не доказывает, что такие данные без дополнительной проверки подходят для обучения медицинских систем или заменяют реальные видеозаписи.
Что разработчикам стоит проверить до внедрения
Первый вопрос — переносимость между людьми и условиями съёмки. В работе представлены совокупные метрики, но из аннотации нельзя установить, одинаково ли хорошо сигнал сохраняется для разных оттенков кожи, камер, экспозиций и спектров освещения. Для rPPG это критические переменные.
Второй вопрос — движение. Все 152 записи охарактеризованы как стационарные. Команде, которая рассматривает Heartian для видеосвязи, игр или виртуальных ведущих, потребуется отдельно протестировать разговорную мимику, повороты головы, частичное перекрытие лица и изменение масштаба в кадре.
Третий вопрос связан с декодированием. Ошибка 0,97 уд/мин относится к лучшей из протестированных конфигураций на рендерах MMPD, а не ко всем моделям и датасетам. Корректный внутренний тест должен включать несколько rPPG-декодеров, сравнение с немодифицированным аватаром и проверку на видео после реального кодирования, например с потерями и сниженной частотой кадров.
Наконец, присутствие восстанавливаемого физиологического сигнала создаёт вопрос приватности. Даже если изменение цвета почти незаметно зрителю, алгоритм может извлечь его из изображения. В продукте потребуется явно определить, является ли пульс художественной анимацией, синтетическим параметром или данными конкретного человека, а также можно ли отключить их передачу.
Heartian показывает техническую возможность встроить заданную пульсовую волну в Gaussian-аватар при минимальном изменении PSNR. Пока подтверждены только ограниченные стационарные сценарии и результаты авторского эксперимента. Главными проверками для следующей версии остаются движение, разнообразие условий съёмки, устойчивость после видеосжатия и независимое воспроизведение заявленных метрик.
