Remote Photoplethysmographic (rPPG) ,即远程光电容积描记技术,是当前国际上前 沿的非接触式生理指征监测手段。
人体每次心跳引起的血液流动会造成皮肤组织的微血管中血量的周期性变化,进而导致 皮肤吸收和反射光具有周期性规律,具体表现为皮肤表面颜色的周期性变化,尽管人眼无法分 辨这一微小变化,但是通过摄像机可以检测到——得益于现代摄像机内置的高灵敏度传感器, 通过分析该信号可以获取脉搏率、呼吸率和血氧饱和度等生理指标。
2.1 数据预处理
通过摄像头获取到的视频含有大量冗余数据,且可能存在质量过低的数据,无法直接用 于模型训练,故需要对采集到的数据进行预处理。一般而言,数据预处理包含(按先后顺序) 选取感兴趣部位(ROI区域)、标准化、差分归一化。 通过面部识别算法,我们可以实现对人脸的精准捕获(ROI区域),舍弃人脸周围的环境 图像数据,提升训练数据质量。 标准化的主要目的是将输入图像帧的像素值调整到一个统一的范围,减少由于光照变化、 摄像头设置差异等外部因素引起的偏差,从而突出皮肤颜色的细微变化。通常,这一步会涉 及将图像中的像素值减去它们的均值,然后除以标准差。这样处理后的图像会有一个零均值 和单位方差,从而消除整体亮度或颜色的变化,使得后续的分析更加可靠。
差分归一化旨在进一步放大皮肤颜色的微小变化。通过对标准化后的图像进行帧间差分处理,提取图像帧之间的细微变化。这一过程通常包括对连续图像帧进行像素差异计算,重 点分析这些变化。随后,这些差异会经过归一化处理,使得结果更加稳定并易于进一步的信 号提取。差分归一化后的图像会显示出比原始图像更加明显的颜色变化区域,特别是与生理 信号相关的皮肤区域。这些变化将被用于后续的rPPG信号提取。
2.2 rPPG算法
用于预测rPPG信号的算法主要分为两大类:非监督算法和监督算法。 非监督算法本质上是使用统计学手段对数据进行分析的方法。对预测rPPG信号而言,非 监督算法指的是基于视频中人体皮肤的周期性颜色变化和 PPG 强相关的机理, 通过对视频色 彩空间的投影和变换实现对静态人体视频的 rPPG 信号提取。常见的用于rPPG信号预测的非 监督算法包括Green、ICA、CHROM、POS、PBV。 监督算法使用带标签的数据集来训练算法,以预测结果和识别模式。具体而言,监督算 法通过学习视频数据和对应PPG信号之间的关联,实现通过视频预测rPPG信号这一功能。常 见的用于rPPG信号预测的监督算法包括DeepPhys、PhysNet、PhysFormer、EffcientPhys-C。 随着 rPPG 技术的发展, rPPG 的应用场景从实验室的静止面部视频逐步拓展到多元复杂 的运动状态视频,这对 rPPG 算法的鲁棒性提出了更高要求。在这种噪声环境中,监督学习的 算法展示出了很强的抗干扰能力和跨数据集泛化能力,占据了优势地位。
基于视频的非接触式生理指征感知技术在多个领域中具有广阔的应用前景。摄像头的普 及性和可用性为这项技术的广泛部署提供了基础条件,尤其在车载和居家等特殊环境中, rPPG技术能够提供感便捷的生理指征数据,而不会对用户的工作造成干扰。具体来说: 普适性:全球摄像头出货量已达7.2亿台,具备了极大的规模,显示出巨大的应用潜力。 多种生理指标的测量:相比依赖于穿戴设备的特定传感器,rPPG技术通过软件创新实现 了生理指征检测的扩展性。 特定场景中的应用潜力:在车载、居家等环境中,rPPG技术能够提供无感、非接触的生 理数据,便于进行日常健康监测。
远程生理感知技术在监测心率变异性(HRV)、血压、和血氧饱和度(SpO2)等关键生 理指标方面同样显示出巨大的潜力。一些方法可以借助面部可见光成像和红外热成像中估计 HRV参数提高了测量的精确性和实用性。在血压监测方面,利用摄像头获取的远程光电容积描 记图(rPPG)信号已被研究用于无创血压监测,为高血压患者提供了一种连续监测的新途径。 对于血氧饱和度,远程生理感知技术同样表现出前景。通过分析皮肤反射的光的变化来推测 血红蛋白的分量,可以无创地监测个体的SpO2。 总体来说,这些技术的发展提高了医疗监测的便捷性和实时性,展示了其在未来关键领 域的巨大潜力。
rPPG技术随着网络、芯片、图像技术等的发展相较过去已有长足的进步,但仍然有不少 技术挑战需要解决。如图十三所示,rPPG技术面临的技术挑战,主要体现在:开放环境中光学环境复杂多变。在开放环境中光线强度、方向和色温等因素可能随时发生 变化,这些变化会对rPPG技术的信号提取造成干扰,影响生理参数的准确性和稳定性。因此, 在不同光照条件下保持算法鲁棒性是关键技术难题。 《PPG 连续生理特征感知技术及应用》 端侧算力与隐私约束感知效能。在移动设备和嵌入式系统的有限计算资源限制了复杂算法 的运行,同时隐私保护要求对数据传输和存储提出了严格的限制。因此,开发轻量级算法和高 效的数据处理流程,同时确保隐私保护,是提升rPPG技术效能的重要方向。 自主可控生理指征的感知平台。在特定任务中,感知平台必须具备高度的自主性和可控性, 确保在关键时刻能够独立运行,并保证数据安全和服务可靠。研制基于国产化器件的rPPG感 知平台,是实现技术大规模应用的保障。