SCAMPS视频生理信号测量数据集

官方链接:https://github.com/danmcduff/scampsdataset

论文:https://arxiv.org/pdf/2206.04197

数据集下载链接:https://gitee.com/CodeStoreHub/rppg-datasets

一、背景与动机

  • 近年来,利用摄像头(RGB 视频)进行非接触测量人体生理信号(如心率、呼吸率等)成为一个重要研究方向(称为 rPPG / camera-based physiological measurement)。

  • 真实世界中,获取带有高质量同步生理信号(如 ECG/PPG/呼吸波)的视频数据集本身代价高、噪声多、标注困难、伦理问题复杂。

  • 合成数据(synthetic data)提供一种可控、带"完美标签"的替代方式,便于训练和评估模型,同时能覆盖更大的变异空间(光照、表情、运动、肤色等)。SCAMPS 就是在这种背景下被设计出来的合成视频 + 生理信号数据集。

  • 在论文中,作者还做了用 SCAMPS 训练模型然后在真实视频数据集上测试的实验,用以检验"从合成到真实(sim-to-real)"的泛化能力。


二、总体概况

属性 说明
名称 SCAMPS (Synthetics for Camera Measurement of Physiological Signals)
视频数量 2,800 个合成视频
帧数总计 约 1.68 百万帧(即平均每个视频约 600 帧)
视频长度 通常每个视频 600 帧
同步生理信号 提供与每帧对齐的心脉搏(PPG/ECG 或等价波形)、呼吸波、心跳间隔、呼吸间隔、HRV(心率变异性)等信息
面部行为 / 属性标签 为每帧提供面部动作单元(Action Units, AU)、眨眼、头部姿态等标签
分割掩膜 每帧还带有像素级的分割蒙版(例如:头发、眉毛、睫毛、皮肤、衣服、眼镜等类别)

三、数据生成方式与技术细节

SCAMPS 数据集是通过计算机图形学 + 生理模拟管线生成的。其关键技术点包括:

  1. 3D 人脸模型与材质设计

    • 使用高质量 3D 人脸扫描得到的纹理贴图作为 albedo 基底,并由人工处理(如去除面部毛发)以便控制皮肤属性。

    • 使用 Blender 或其他物理基础渲染工具调节材质(粗糙度、镜面反射、次表面散射参数等)以模拟真实皮肤对光的响应。

  2. 血流 / 生理信号模拟

    • 在皮肤材质中引入随血流变化的颜色(subsurface color)参数来模拟随心跳 / 血液氧合 /血液浓度变化带来的皮肤色变。

    • 对每帧模拟出心脉搏(pulse 波)与呼吸波,使得这些信号与渲染帧严格对齐(帧级同步)。

  3. 动画 / 运动 / 光照变化控制

    • 在渲染过程中加入头部运动、视角变换、表情变化、面部动作单元(AU)变化等,以模拟真实人脸在视频中的动态行为。

    • 加入不同光照条件(强弱、方向、环境光混合)和肤色变化等多样性配置,以增加模型的泛化能力。

  4. 标签同步与导出

    • 在渲染过程中,保证每帧视频帧与对应的生理信号完全同步(例如脉搏峰 / 呼吸相位对齐)

    • 每帧输出多个辅助数据:分割掩膜、面部动作标签、头部姿态、眨眼状态等。


四、数据组成

下面按数据元素逐项展开 SCAMPS 提供的具体内容:

4.1 视频帧 / 图像数据

  • 每个视频为 RGB 图像序列,帧内含真实感材质渲染(包括皮肤、衣服、眼镜、头发等)。

  • 与每帧对应的像素级别分割掩膜(mask),分别标注例如皮肤 (skin)、头发 (hair)、眼镜 (glasses)、眉毛 (eyebrows)、睫毛 (eyelashes)、衣服 (clothing) 等类别。这样可以区分哪些像素真正属于有血流的皮肤区域,哪些是遮挡或无关区域。

4.2 生理信号 / 心脏与呼吸波形

  • 对于每帧,有与之精确对齐的 PPG / ECG 波形(或等效血容量 /脉搏信号)和呼吸信号。

  • 从这些基本波形,可以进一步计算以下衍生量:

    - 心跳间隔(inter-beat interval, IBI)

    - 呼吸间隔(breath interval)

    - 心率 (Heart Rate, HR)、呼吸率 (Breath Rate)

    - 心率变异性 (HRV) 指标(如 SDNN 等统计指标)

    - 脉搏到达时间 (Pulse Arrival Time, PAT) 等可能用于血流动力学研究的指标。

4.3 面部行为 / 表情 / 姿态标签

  • 每帧提供面部动作单元 (Action Units, AU) 的标签(如 AU1、AU2 等),可用于分析表情 / 面部肌肉运动对信号提取的影响。

  • 眨眼 (blink) 状态标签以及眼睛闭合 /睁开状态信息。

  • 头部姿态 (head pose) 标签,如俯仰、偏航、滚转角度。


五、使用方式与典型应用

  • 训练合成模型:可以使用 SCAMPS 数据来训练深度学习模型(例如基于 CNN / 时序网络的方法)进行心率 / 呼吸率 / 信号回归任务。

  • 迁移 / 泛化实验:许多研究会将模型在 SCAMPS 上训练,然后在真实世界的数据集(如 UBFC-rPPG、PURE、VIPL-HR 等)上测试,以检验合成到真实的迁移能力。

  • 多任务 / 辅助任务训练:结合表情 / AU / 头部运动标签,可以做联合学习(例如同时预测心率 + 表情/动作单元),研究不同任务之间的干扰或协同。

  • 分割 / 蒙版辅助:掩膜可以用于训练模型区分皮肤区域与非皮肤区域,从而避免将无效像素(衣服、头发、眼镜等)当作信号源影响模型。


六、优点与局限 / 挑战

  1. 标签精确 / "完美标签"

    合成环境下可以保证每帧与生理信号严格同步,对比真实采集数据中的时间漂移、同步误差、更易控制。

  2. 可控多样性 / 可扩展性

    可以系统性地设计不同皮肤色泽、光照、表情、头部运动、遮挡、视角等组合,从而训练出更具鲁棒性的模型。

  3. 辅助任务标签丰富

    提供面部动作单元、分割掩膜、头部姿态等多种标签,有利于设计联合模型或做干扰研究。

  4. 促进 sim-to-real 研究

    作为首个大规模公开合成视频 + 生理信号数据集,SCAMPS 对推动相机生理信号测量领域的模型泛化研究起到积极作用。

  5. 减少对真实受试者的依赖

    能在初期模型开发阶段节省大量采集成本与伦理审批开销。

相关推荐
EasyDSS16 小时前
互联网视频云平台EasyDSS无人机技术在烟火巡检场景中的的应用
音视频·无人机
千里马学框架1 天前
音频焦点学习之AudioFocusRequest.Builder类剖析
android·面试·智能手机·车载系统·音视频·安卓framework开发·audio
奔跑吧邓邓子1 天前
【C++实战(71)】解锁C++音视频开发:FFmpeg从入门到实战
c++·ffmpeg·实战·音视频
骄傲的心别枯萎1 天前
项目1:FFMPEG推流器讲解(一):FFMPEG重要结构体讲解
linux·ffmpeg·音视频·视频编解码·rv1126
fl1768311 天前
基于pyqt5实现的视频抽帧工具源码+项目说明用于目标检测图片采集
qt·目标检测·音视频
MongoVIP1 天前
音频类AI工具扩展
人工智能·音视频·ai工具使用
IvanCodes2 天前
RTX 4090 加速国产 AIGC 视频生成:腾讯混元与阿里千问开源模型
人工智能·开源·aigc·音视频
骄傲的心别枯萎2 天前
项目1:FFMPEG推流器讲解(二):FFMPEG输出模块初始化
linux·ffmpeg·音视频·视频编解码·rv1126
reasonsummer4 天前
【办公类-117-01】20250924通义万相视频2.5——三个小人(幼儿作品动态化)
人工智能·音视频·通义万相