Запись архива

Google Research представила PhotoScan: ИИ-оценка состава тела по фото со смартфона

Google Research опубликовала работу PhotoScan — deep learning модели, которая оценивает процент жира, андроидно-гиноидное соотношение и висцеральный жир по простым снимкам со смартфона, а затем предсказывает инсулинорезистентность с точностью, близкой к клиническим DXA-сканам.

Схема работы PhotoScan: от фотографии со смартфона к оценке состава тела и классификации инсулинорезистентности
Схема работы PhotoScan: от фотографии со смартфона к оценке состава тела и классификации инсулинорезистентности
Imagen destacada del articulo fuente

17 августа 2026 года Google Research опубликовала в своём блоге описание PhotoScan — исследовательской deep learning структуры, которая оценивает трёхмерные метрики состава тела (процент жира, андроидно-гиноидное соотношение и отношение висцерального жира к подкожному) по обычным двухмерным фотографиям со смартфона. Разработка показывает, что компьютерное зрение способно приблизиться к точности дорогостоящих клинических DXA-сканов в задаче прогнозирования инсулинорезистентности.

Проблема: невидимая эпидемия инсулинорезистентности

Инсулинорезистентность — одно из ключевых, но часто не диагностируемых состояний, предшествующих диабету 2 типа. Она незаметно ухудшает работу сосудов, печени и энергетического обмена за годы до того, как уровень сахара в крови натощак превысит клиническую норму. Золотым стандартом раннего выявления считается HOMA-IR (Homeostasis Model Assessment for Insulin Resistance), где значение выше 2,9 указывает на резистентность. Однако для его расчёта нужен анализ крови, а для оценки состава тела — DXA-сканирование, которое дорого, требует специального оборудования и сопряжено с небольшой дозой радиации.

Как работает PhotoScan

PhotoScan — это deep learning модель, предобученная на более чем 35 тысячах записей участников UK Biobank и дообученная на новой когорте из 677 взрослых. Она извлекает геометрическую информацию о теле непосредственно из смартфонных снимков, обходя клинические измерения. Выходные метрики — процент жира (BF%), андроидно-гиноидное соотношение (A/G) и отношение висцерального жира к подкожному (V/S) — затем используются вместе с демографическими данными (возраст, пол, ИМТ) для классификации инсулинорезистентности с помощью градиентного бустинга.

Исследователи учли проблему дисбаланса выборок: при тестировании каждая группа была сбалансирована по ИМТ и статусу инсулинорезистентности. Для исключения утечки данных использовалась повторная оценка на невиданных ранее записях.

Ключевые факты

Параметр PhotoScan (смартфон) BIA (смарт-часы) DXA (клинический эталон)
Средняя абсолютная ошибка BF% 2,15 (когорта PhotoBIA) / 2,13 (когорта MetabolicMosaic) 2,91
Средняя абсолютная ошибка A/G 0,107 / 0,085
Средняя абсолютная ошибка V/S 0,094 / 0,085
Прогноз инсулинорезистентности AUROC и NRI, близкие к DXA Уступает Эталон

Результаты: точнее смарт-часов, почти как DXA

На когорте PhotoBIA (5-кратная кросс-валидация) дообученная модель PhotoScan показала среднюю абсолютную ошибку 2,15 для BF%, тогда как BIA на смарт-часах — 2,91. При этом PhotoScan единственный из неинвазивных методов предоставляет A/G и V/S соотношения, которые BIA не измеряет. На независимой когорте MetabolicMosaic ошибки остались на том же уровне (2,13 для BF%, 0,085 для A/G и V/S). Небольшое снижение ошибки A/G и V/S в этой когорте объясняется более высокой долей женщин (67% против 57%), у которых в среднем ниже абсолютные значения этих показателей из-за преимущественно гиноидного и подкожного жироотложения.

При прогнозировании инсулинорезистентности модель, использующая только PhotoScan-метрики и демографию, показала AUROC и Net Reclassification Index, близкие к модели на основе DXA, и значительно превзошла модель, опирающуюся лишь на ИМТ и возраст.

Практическое значение и ограничения

PhotoScan — пока исследовательский прототип, а не готовый продукт. Он демонстрирует, что deep learning на смартфонных снимках может заменить дорогое клиническое оборудование в скрининге кардиометаболического риска. Для разработчиков AI-инструментов это пример того, как CV-модели можно адаптировать под задачи здравоохранения с минимальными требованиями к оборудованию.

Ограничения: выборка для дообучения (677 человек) относительно невелика, а когорта MetabolicMosaic имеет перекос по полу. Результаты получены в клинических условиях с контролируемым освещением и позой; на реальных пользовательских снимках точность может снизиться. Кроме того, модель не оценивает инсулинорезистентность напрямую — она предсказывает состав тела, который затем используется в классификаторе. Прямое сравнение с DXA проводилось не на каждом этапе, а в рамках отдельного классификатора.

Источник: Google Research Blog — «Seeing beyond BMI: Estimating cardiometabolic risk with smartphone imagery» (https://research.google/blog/seeing-beyond-bmi-estimating-cardiometabolic-risk-with-smartphone-imagery/)