1. RhythmGuassian: Repurposing Generalizable Gaussian Model For RemotePhysiological Measurement （ RhythmGaussian：借用可泛化高斯模型进行远程生理测量 ）
1.1 技术路线
面向真实世界中运动与光照干扰导致的 rPPG 信号纠缠问题，将可泛化高斯模型（GGM）引入 rPPG 领域，以 4D高斯表征显式解耦几何与色度变化。输入视频先转化为时空图（STMap），经编码器后一路送入生理解码器预测生理信号，另一路送入高斯适配器（GS Adapter）预测 4D 高斯图；针对数据集缺少相机内外参的问题，提出"4D 虚拟相机"，以固定虚拟相机参数渲染人脸视频，并用渲染与原始视频的 L1 重建损失约束；随后通过显式运动建模（EMM）在 4D 高斯空间中用运动流参数进行运动补偿，显式色度建模（ECM）将色度解耦为镜面反射、生理信号与运动噪声三部分，总损失为;L_all = λ_rec·L_rec + λ_st·L_st + λ_m·L_m + L_physio,在多种无监督任务知识约束下完成解耦，最终输出 BVP 信号与心率。
4D:三维人脸几何 + 时间维度:人脸会转头、晃动（空间变化），皮肤颜色随心跳周期性改变（时间上的颜色变化）
1、空间信息：人脸每个皮肤小块的3D几何；
2、时间信息：每一帧这个小块怎么动、颜色怎么变（包含心跳带来的微弱肤色变化）。
EMM:
ECM:
(约束跨帧、跨面部区域的稳定性)
L_physio：由 BVP 解码器提供，是唯一的监督信号。
1.2 创新点
首次将可泛化高斯模型引入 rPPG 领域，用 4D 高斯表征显式解耦色度与几何变化，突破传统方法对噪声线性可分等假设的限制；
提出"4D 虚拟相机"概念，在无需真实相机参数的情况下简化人脸视频的复杂 4D 表征，使模型高效学习几何与色度变化；
设计显式运动建模与显式色度建模等一系列无监督任务知识，显式解耦运动噪声、镜面反射与生理信号；
整理并扩充了包含多种运动与光照干扰场景的迄今最大规模 rPPG 数据集，充分验证方法的泛化能力。
1.3 如何实现
输入视频用 FAN 检测 2D 人脸关键点，按皮肤区域分块求平均像素构建 STMap（时间窗口 256、步长 10），并施加行洗牌与时间滑动等时空增强；
4D 高斯适配器通过上采样块将特征转为 4D 高斯图（22×N×T，含深度、镜面/漫反射/运动噪声色度、alpha、scale、rotation 与运动流 Δh,Δw,Δs），高斯点颜色由镜面、生理与运动噪声三部分相加，位置由 uv 坐标、深度与运动偏移共同决定；"4D 虚拟相机"以人脸中心为焦点、半张脸为焦距设定固定内参，以单位阵为外参，将高斯点渲染为三流色度视频，与输入做 L1 重建损失；
显式运动建模(EMM)用网络预测平行于相机平面的位移 Δh、Δw 与垂直于平面的尺度变化 Δs 构成运动流，修正高斯点位置实现运动补偿；
显式色度建模((ECM)对生理分量施加时空一致性损失（保证人脸不同区域生理信号周期一致），用各时刻运动表示模长与运动噪声色度的负皮尔逊损失建立两者联系，镜面反射由重建损失约束；总损失为重建、时空一致、运动一致与生理监督的加权和（无监督协议下不使用生理监督），取 λ_rec=0.5、λ_st=0.4、λ_m=0.1，用 AdamW 优化器、学习率 1e-4、批大小 256 训练，并在 UBFC、PURE、BUAA、VIPL-HR、V4V 等多个数据集上验证。
- 广义高斯模型：从输入视频中提取的STMap经过编码器处理后，被送入生理解码器以预测生理信号。另一条路径则输入到高斯适配器中，以获取四维高斯图。
- 显式运动建模（EMM）通过在四维高斯空间中应用∆h（水平位移）、∆w（宽度变化）和∆s（尺度调整）参数到高斯片集P上，实现空间运动补偿，最终生成运动修正后的点集Pˆ。
- 四维虚拟摄像机利用运动修正后的点集渲染具有三流色度分量（Vs、Vd和Vn）的视频，同时通过渲染视频与输入视频之间的逐像素重建损失来优化模型。
- 显式色度建模（ECM）：时空一致性损失确保Vd在面部各区域间的帧间稳定性，从而保持生理信号的一致性。基于动态光流的运动感知色度一致性损失Lm，则使姿态参数∆h，∆w，∆s ∈ R 5×N×T 与噪声相关的色度分量Vdn ∈ R 3×1×T 保持同步。
2. PhysDrive: A Multimodal Remote Physiological Measurement Dataset for In-vehicle Driver Monitoring （ PhysDrive：面向车内驾驶员监测的多模态远程生理测量数据集 ）
2.1 技术路线
面向车载远程生理测量（RPM）研究缺乏大规模、多模态综合公开数据集的问题，构建首个面向真实驾驶场景的多模态无接触生理测量数据集 PhysDrive。在广州市真实道路开展驾驶实验，以车型（A0、B、C 三款）与光照条件（正午、清晨/黄昏、夜间、雨/阴）为组间变量，以驾驶动作（静止/交谈）与路况（平坦无阻、平坦拥堵、颠簸拥堵）为组内变量，采集 48 名驾驶员的 RGB 相机、近红外相机与毫米波雷达三种无接触感知模态，并同步记录 ECG、BVP、RESP、HR、RR、SpO2 六种接触式真值；随后对多源数据做时间对齐与预处理，并在 RGB、NIR、mmWave 三种模态上实现多种传统与深度学习基线，建立跨模态与跨数据集的基准评测。
2.2 创新点
一是提出首个涵盖真实驾驶场景、同时包含 RGB、NIR、mmWave 三模态与六种生理标签的大规模多模态数据集，弥补现有数据在规模、模态多样性与标注广度上的不足；
二是实验设计系统纳入光照、车型、路况、驾驶动作等真实驾驶因素，支持无接触多模态感知泛化等新研究问题；
三是建立跨模态与跨数据集基准评测，揭示不同模态的优势与局限（如 mmWave 直接参数回归显著优于波形恢复、STMap 输入在多任务与泛化中更优）；
四是开放原始数据、处理脚本与兼容主流工具箱的评测代码，加速智能座舱与驾驶监控研究。
2.3 如何实现
数据采集使用 PhysioLAB 平台整合三电极 ECG、呼吸带、Logitech C925e RGB 相机与近红外相机，用 Contech CMS50E 指夹血氧仪采 BVP（60 Hz）与 SpO2（1 Hz），毫米波雷达配置 2.6 GHz 有效带宽、12 天线虚拟阵列（范围分辨率约 6 cm、角分辨率 14°），生理信号采样 1000 Hz、视频 30 fps；所有设备托管于同一笔记本并通过有序启停流程保证毫秒级时间戳对齐（平台间漂移不超过 1 秒），
同步策略：
所有设备挂载在同一台笔记本上，按固定顺序启停，用「包含关系」保证时间对齐：
- PhysioLAB 最先开始、最后结束------把其他设备的数据流「包」在中间；
- Contech 血氧仪在 PhysioLAB 之后启动、之前停止；
- mmWave 在 Contech 之后启动、最先停止；
- 各平台启停时间差通常不超过 5 秒，因此对齐后的漂移不超过 1 秒。
将生理信号上/下采样统一到 30 Hz（mmWave 对齐到 20 Hz）；
对 RGB/NIR 视频先定位人脸并裁剪到 128×128，或按 468 关键点生成 STMap 作为输入；
对 mmWave 原始数据做 range-angle-doppler FFT 构成张量，先去除静态反射并定位人体，再按躯干范围裁剪（8 个范围 bin、16 个角度 bin、8 个多普勒 bin）并切成 200 帧（10 秒）序列；
采用 80/10/10 划分、五种随机种子做跨被试评测，以 MAE、RMSE、皮尔逊相关为指标，并在 PURE、UBFC-rPPG 上做跨数据集评测。
3. Spatial Alignment and Temporal Matching Adapter for Video-Radar Remote Physiological Measurement （ SATM：面向视频-雷达远程生理测量的空间对齐与时间匹配适配器 ）
3.1 技术路线
面向视频-雷达多模态 rPPG 数据稀缺且模态差异大的挑战，提出利用大规模单模态预训练并设计空间对齐与时间匹配（SATM）适配器，将预训练的单模态骨干微调为多模态 rPPG 模型。视频分支用 DiffNorm 与 UniFormer 作为骨干，雷达分支先对中频信号做 range-FFT、粗范围门控、波束成形与二阶微分放大心脏微动，再用二维 UniFormer 作为骨干；在骨干浅层插入 vanilla 适配器、深层插入 SATM 适配器进行跨模态微调，其中空间对齐模块将不同 ROI（人脸 vs 胸腔）的特征投影到统一时序空间并用交叉注意力对齐空间分布，时间匹配模块用匹配滤波沿时间维细化对齐后的特征；最后经轻量融合茎与回归模块输出 PPG 信号。
3.2 创新点
一是首次指出多模态 rPPG 存在的"数据饥饿与数据稀缺"矛盾，提出利用单模态预训练加多模态适配器缓解小样本过拟合；
二是设计空间对齐与时间匹配两个模块协同缩小视频与雷达之间的显著模态差异，空间对齐统一不同 ROI 的空间分布、时间匹配消除不同波形的差异；
三是将两模块集成到新的 SATM 适配器中，冻结骨干、仅训练适配器、融合茎与回归模块，实现高效的参数高效多模态微调；
四是自建涵盖不同光照与头部运动的挑战性数据集 MMRPM，并在其与 EquiPleth 数据集上验证方法的优越性。
3.3 如何实现
视频输入先经 MTCNN 裁剪人脸区域，采样为 160 帧、步长 80 的片段并缩放到 96×96；DiffNorm 模块用差分与归一化整合外观与动态特征，UniFormer 块由动态位置嵌入（DPE）、多尺度关系聚合器（MHRA）与前馈网络（FFN）构成；雷达预处理做 range-FFT、粗范围门控，在方位角 66°≤θA≤114°、俯仰角 -24°≤θE≤24° 范围波束成形，并用二阶微分器放大心脏位移、抑制噪声，重排为二维时序特征输入雷达骨干；
空间对齐：双线性插值对齐时间维，再把视频与雷达特征经线性投影压缩通道维为统一 1D 时序空间的 query/key 矩阵，通过交叉注意力计算得分并逐通道加权得到对齐特征；
时间匹配：依据匹配滤波理论，将空间对齐后的特征与视频特征沿时间维做 FFT、共轭相乘与 iFFT，再经批归一化与深度卷积细化；
匹配滤波理论：给定含目标信号 s(t) 与噪声 n(t) 的输入 r(t)，取滤波器 h(t) = s(T − t)，可使输出在时刻 T 的信噪比达到最大。
把 空间对齐后 的特征当作 r(t) ，把视频与雷达之间的波形差异当作 n(t)，于是精炼特征就等价于做一次匹配滤波
SATM 适配器用下/上投影与可学习缩放系数整合跨模态特征，仅在后两阶段用 SATM 适配器、前两阶段用 vanilla 适配器以平衡单模态与跨模态学习；训练时冻结双骨干，仅训练适配器、融合茎与回归模块，用 Adam 优化器、学习率 5e-4、40 轮、批大小 2，以 Std、MAE、RMSE、R 为指标评估。
补充概念：
1、UniFormer：把3D卷积（CNN局部建模）和自注意力（Transformer全局建模）融合到统一Transformer块中：三部分组成 DPE、MHRA、FFN
论文中：
- 浅层（前2个Stage）：用局部MHRA，等价3D卷积，聚焦局部时空邻域，消除视频大量局部冗余，计算开销低。
- 深层（后2个Stage）：切换为全局MHRA，使用时空自注意力，捕获跨帧、远距离全局依赖
- Video ViT
- vanilla adapter：参数高效微调PEFT（冻结已经预训练好的大主干网络，只训练少量新增/少量修改的参数，让模型适配下游任务。）
单模态，仅对本模态特征做轻量变换，不能接收另一模态信息
在本论文： MHA/FFN 层之间插入小型瓶颈子网络 ，主干冻结，只训插入的小网络；可以在模块内部增加自定义跨模态逻辑。
- SATM Adapter 是在 vanilla adapter基础上新增了SA空间对齐、TM时序匹配跨模态模块的升级版适配器。
- cross-attention
论文中：
视频人脸特征作为"眼睛（Q）"，去看雷达胸部特征（K/V），学习两边空间token之间对应关系，把雷达的信息映射到视频的空间分布上，解决：视频看脸、雷达看胸，两者ROI感兴趣区域完全不一样带来的模态鸿沟。
最终输出：先分别得到：增强视频特征和增强雷达特征
MAM ： 文中 消除空间维度，只保留通道 + 时间。
ADDP论文的Regression Module（PPG 回归头）：SATM直接复用它的回归头设计，把时序特征映射输出一维PPG脉搏波形，输出的是波形
