官方链接:https://github.com/danmcduff/scampsdataset
论文:https://arxiv.org/pdf/2206.04197
数据集下载链接:https://gitee.com/CodeStoreHub/rppg-datasets

一、背景与动机
-
近年来,利用摄像头(RGB 视频)进行非接触测量人体生理信号(如心率、呼吸率等)成为一个重要研究方向(称为 rPPG / camera-based physiological measurement)。
-
真实世界中,获取带有高质量同步生理信号(如 ECG/PPG/呼吸波)的视频数据集本身代价高、噪声多、标注困难、伦理问题复杂。
-
合成数据(synthetic data)提供一种可控、带"完美标签"的替代方式,便于训练和评估模型,同时能覆盖更大的变异空间(光照、表情、运动、肤色等)。SCAMPS 就是在这种背景下被设计出来的合成视频 + 生理信号数据集。
-
在论文中,作者还做了用 SCAMPS 训练模型然后在真实视频数据集上测试的实验,用以检验"从合成到真实(sim-to-real)"的泛化能力。

二、总体概况
属性 | 说明 |
---|---|
名称 | SCAMPS (Synthetics for Camera Measurement of Physiological Signals) |
视频数量 | 2,800 个合成视频 |
帧数总计 | 约 1.68 百万帧(即平均每个视频约 600 帧) |
视频长度 | 通常每个视频 600 帧 |
同步生理信号 | 提供与每帧对齐的心脉搏(PPG/ECG 或等价波形)、呼吸波、心跳间隔、呼吸间隔、HRV(心率变异性)等信息 |
面部行为 / 属性标签 | 为每帧提供面部动作单元(Action Units, AU)、眨眼、头部姿态等标签 |
分割掩膜 | 每帧还带有像素级的分割蒙版(例如:头发、眉毛、睫毛、皮肤、衣服、眼镜等类别) |

三、数据生成方式与技术细节
SCAMPS 数据集是通过计算机图形学 + 生理模拟管线生成的。其关键技术点包括:
-
3D 人脸模型与材质设计
-
使用高质量 3D 人脸扫描得到的纹理贴图作为 albedo 基底,并由人工处理(如去除面部毛发)以便控制皮肤属性。
-
使用 Blender 或其他物理基础渲染工具调节材质(粗糙度、镜面反射、次表面散射参数等)以模拟真实皮肤对光的响应。
-
-
血流 / 生理信号模拟
-
在皮肤材质中引入随血流变化的颜色(subsurface color)参数来模拟随心跳 / 血液氧合 /血液浓度变化带来的皮肤色变。
-
对每帧模拟出心脉搏(pulse 波)与呼吸波,使得这些信号与渲染帧严格对齐(帧级同步)。
-
-
动画 / 运动 / 光照变化控制
-
在渲染过程中加入头部运动、视角变换、表情变化、面部动作单元(AU)变化等,以模拟真实人脸在视频中的动态行为。
-
加入不同光照条件(强弱、方向、环境光混合)和肤色变化等多样性配置,以增加模型的泛化能力。
-
-
标签同步与导出
-
在渲染过程中,保证每帧视频帧与对应的生理信号完全同步(例如脉搏峰 / 呼吸相位对齐)
-
每帧输出多个辅助数据:分割掩膜、面部动作标签、头部姿态、眨眼状态等。
-

四、数据组成
下面按数据元素逐项展开 SCAMPS 提供的具体内容:
4.1 视频帧 / 图像数据
-
每个视频为 RGB 图像序列,帧内含真实感材质渲染(包括皮肤、衣服、眼镜、头发等)。
-
与每帧对应的像素级别分割掩膜(mask),分别标注例如皮肤 (skin)、头发 (hair)、眼镜 (glasses)、眉毛 (eyebrows)、睫毛 (eyelashes)、衣服 (clothing) 等类别。这样可以区分哪些像素真正属于有血流的皮肤区域,哪些是遮挡或无关区域。
4.2 生理信号 / 心脏与呼吸波形
-
对于每帧,有与之精确对齐的 PPG / ECG 波形(或等效血容量 /脉搏信号)和呼吸信号。
-
从这些基本波形,可以进一步计算以下衍生量:
- 心跳间隔(inter-beat interval, IBI)
- 呼吸间隔(breath interval)
- 心率 (Heart Rate, HR)、呼吸率 (Breath Rate)
- 心率变异性 (HRV) 指标(如 SDNN 等统计指标)
- 脉搏到达时间 (Pulse Arrival Time, PAT) 等可能用于血流动力学研究的指标。
4.3 面部行为 / 表情 / 姿态标签
-
每帧提供面部动作单元 (Action Units, AU) 的标签(如 AU1、AU2 等),可用于分析表情 / 面部肌肉运动对信号提取的影响。
-
眨眼 (blink) 状态标签以及眼睛闭合 /睁开状态信息。
-
头部姿态 (head pose) 标签,如俯仰、偏航、滚转角度。
五、使用方式与典型应用
-
训练合成模型:可以使用 SCAMPS 数据来训练深度学习模型(例如基于 CNN / 时序网络的方法)进行心率 / 呼吸率 / 信号回归任务。
-
迁移 / 泛化实验:许多研究会将模型在 SCAMPS 上训练,然后在真实世界的数据集(如 UBFC-rPPG、PURE、VIPL-HR 等)上测试,以检验合成到真实的迁移能力。
-
多任务 / 辅助任务训练:结合表情 / AU / 头部运动标签,可以做联合学习(例如同时预测心率 + 表情/动作单元),研究不同任务之间的干扰或协同。
-
分割 / 蒙版辅助:掩膜可以用于训练模型区分皮肤区域与非皮肤区域,从而避免将无效像素(衣服、头发、眼镜等)当作信号源影响模型。
六、优点与局限 / 挑战
-
标签精确 / "完美标签"
合成环境下可以保证每帧与生理信号严格同步,对比真实采集数据中的时间漂移、同步误差、更易控制。
-
可控多样性 / 可扩展性
可以系统性地设计不同皮肤色泽、光照、表情、头部运动、遮挡、视角等组合,从而训练出更具鲁棒性的模型。
-
辅助任务标签丰富
提供面部动作单元、分割掩膜、头部姿态等多种标签,有利于设计联合模型或做干扰研究。
-
促进 sim-to-real 研究
作为首个大规模公开合成视频 + 生理信号数据集,SCAMPS 对推动相机生理信号测量领域的模型泛化研究起到积极作用。
-
减少对真实受试者的依赖
能在初期模型开发阶段节省大量采集成本与伦理审批开销。