论文链接：https://arxiv.org/pdf/2303.17472
源码链接：https://github.com/QitaoZhao/PoseFormerV2
Abstract
本文提出了 PoseFormerV2，通过探索频率域来提高 3D 人体姿态估计的效率和鲁棒性。PoseFormerV2 利用离散余弦变换（DCT）将骨骼序列转换为低频系数，显著减少了计算量并提高了对噪声的抵抗力。实验表明，PoseFormerV2 在速度-精度权衡和鲁棒性方面显著优于 PoseFormer 和其他 Transformer 方法。
Introduction
-
目标：3D 人体姿态估计（HPE）旨在通过单目视频或 2D 关节序列估计人体关节的三维位置。
-
主流方法：随着 2D 姿态检测器的普及和 2D 表示的轻量性，2D-to-3D lifting 方法成为主流。
-
Transformer 的优势：Transformer 方法因其在建模离散关节和长时序依赖方面的优势，成为 3D 姿态估计的首选。
-
现有问题：
-
处理长序列时计算负担重。
-
对噪声 2D 检测缺乏鲁棒性。
-
-
具体问题示例：PoseFormer 在 Human3.6M 数据集上使用真实 2D 检测时 MPJPE 为 31.3 mm，而使用 CPN 检测时性能下降至 44.3 mm。
-
解决方案：PoseFormerV2 引入频率域表示，通过离散余弦变换（DCT）将长序列压缩为低频系数，显著减少计算量并增强鲁棒性。
-
实验结果：PoseFormerV2 在速度和精度上优于其他方法，包括原始 PoseFormer 和其他 Transformer 变体。
Related Work
Transformer-based 3D Human Pose Estimation
-
oseFormer：首个将 Transformer 应用于 3D 人体姿态估计的方法，通过时空编码器提取特征，显著优于传统卷积方法。
-
效率问题：PoseFormer 在处理长序列时效率低下，计算负担随帧数增加而显著增加。
-
鲁棒性问题：PoseFormer 对噪声 2D 关节检测敏感，性能受 2D 检测质量影响较大。
-
后续改进：
-
MHFormer：引入多假设生成技术，模拟身体部位的深度模糊和 2D 检测器的不确定性，提升鲁棒性。
-
P-STMO：采用掩码关节建模技术，通过自监督学习提高性能。
-
StridedTransformer：通过步进卷积减少计算量，但牺牲了部分性能。
-
Einfalt et al.：通过下采样输入视频帧减少计算量，但可能影响精度。
-
-
现存问题：尽管有改进，但现有方法仍未同时解决效率和鲁棒性问题。
Frequency Representation in Vision
-
频率域表示：在计算机视觉中已有广泛应用，如 JPEG 图像压缩和基于 DCT 的特征提取。
-
低频系数的作用：
-
捕捉输入序列的主要特征。
-
过滤高频噪声，提升模型对噪声的抵抗力。
-
-
PoseFormerV2 的创新：
-
将频率域表示应用于 3D 人体姿态估计。
-
通过离散余弦变换（DCT）将骨骼序列转换为低频系数，显著减少计算量。
-
提出时间-频率特征融合模块，结合时间域和频率域特征，提升模型性能。
-
Method
Preliminaries of PoseFormerV1
-
特征提取分阶段：PoseFormerV1 将 2D 关节序列的特征提取分为两个阶段：
-
空间编码器：用于建模单帧内关节关系，捕捉帧内关节的相互依赖。
-
时间编码器：用于建模跨帧人体运动，捕捉帧间的时间依赖。
-
-
计算复杂度：PoseFormerV1 在处理长序列时计算复杂度高，因为自注意力机制对所有帧进行密集建模。
-
对噪声敏感：PoseFormerV1 对 2D 关节检测噪声敏感，性能受输入质量影响较大。
PoseFormerV2
Frequency Representation of Skeleton Sequence
-
离散余弦变换（DCT）：PoseFormerV2 通过 DCT 将骨骼序列转换为低频系数，利用少量低频系数表示整个序列。
-
减少输入长度：低频系数显著减少了输入长度，降低了计算复杂度。
-
过滤高频噪声：低频系数过滤了高频噪声，增强了模型对噪声的抵抗力。
-
实验验证：实验表明，仅需少量低频系数即可捕捉序列的主要特征，同时保持较高的精度。
Architecture
-
空间 Transformer 编码器：
-
仅处理少量中心帧，减少计算量。
-
提取帧内关节的高维特征。
-
-
时间-频率特征融合模块：
-
结合时间域和频率域特征，增强模型对长序列的处理能力。
-
使用 FreqMLP 调整频率特征权重，补充时间域特征的细节信息。
-
-
回归头：
-
通过 1D 卷积层聚集时间信息。
-
输出中心帧的 3D 姿态。
-
-
整体优势：PoseFormerV2 在时间域和频率域之间进行有效的特征融合，显著减少了计算量，同时保持了更好的速度-精度权衡。
Experiments
Datasets and Evaluation Metrics
数据集
Human3.6M：最常用的室内 3D 姿态估计数据集，包含 11 名演员的 15 种动作，从 4 个不同视角拍摄，共 360 万帧。
MPI-INF-3DHP：更具挑战性的室内外场景数据集，包含复杂背景和多种动作，提供 6 个不同场景的测试集。
评价指标
MPJPE（Mean Per Joint Position Error）：预测的 3D 姿态与真实值之间的平均欧几里得距离。
P-MPJPE（Procrustes Mean Per Joint Position Error）：对预测的 3D 姿态进行刚性对齐后的 MPJPE。
PCK（Percentage of Correct Keypoints）：在 150mm 范围内的正确关节点的百分比。
AUC（Area Under Curve）：曲线下面积。
Implementation Details and Analysis
实现框架
基于 PyTorch，使用 AdamW 优化器，学习率设置为 8e-4，并采用指数衰减策略。
超参数调整
输入帧数（f）和 DCT 系数数量（n）是关键超参数，实验中通过调整这些参数展示了模型在速度和精度之间的灵活权衡。
例如，当 f = 3、n = 3 时，模型在 Human3.6M 数据集上达到了 47.9 mm 的 MPJPE，计算量为 117.3 MFLOPs。
硬件配置
实验在单个 NVIDIA RTX 3090 GPU 上进行，支持高效的训练和推理。
Comparisons with State-of-the-art Methods
Human3.6M 数据集
PoseFormerV2
81 帧输入，77.2 MFLOPs，MPJPE 为 47.6 mm。
243 帧输入，1054.8 MFLOPs，MPJPE 为 45.2 mm。
其他方法
PoseFormerV1：81 帧输入，1.36 GFLOPs，MPJPE 为 47.0 mm。
MHFormer：81 帧输入，342.9 MFLOPs，MPJPE 为 47.8 mm。
P-STMO：243 帧输入，493 MFLOPs，MPJPE 为 45.6 mm。
结论
PoseFormerV2 在速度和精度之间取得了更好的权衡，尤其是在处理长序列时表现出更高的效率。
MPI-INF-3DHP 数据集
PoseFormerV2
PCK 为 97.9%，AUC 为 78.8%，MPJPE 为 27.8 mm。
其他方法
PoseFormerV1：PCK 为 95.4%，AUC 为 63.2%，MPJPE 为 57.7 mm。
P-STMO：PCK 为 97.9%，AUC 为 75.8%，MPJPE 为 32.2 mm。
结论
PoseFormerV2 在 MPI-INF-3DHP 数据集上也取得了最佳性能，验证了其在复杂场景下的鲁棒性和准确性。
Ablation Study
逐步改进
原始 PoseFormerV1：9 帧输入，MPJPE 为 49.9 mm。
引入低频 DCT 系数：81 帧输入，MPJPE 降低到 47.1 mm。
引入 FreqMLP：MPJPE 进一步降低到 46.0 mm。
输入帧数和 DCT 系数数量的影响
实验证明，增加输入帧数和 DCT 系数数量可以显著提高精度。例如，使用 3 个中心帧和 9 个 DCT 系数时，MPJPE 为 47.9 mm，计算量为 117.3 MFLOPs。
结论
仅需少量中心帧和低频系数即可显著提高精度和鲁棒性，同时保持较低的计算量。
Generalization Ability
推广到其他方法
MixSTE：引入低频 DCT 系数后，MPJPE 从 46.2 mm 降低到 45.3 mm，计算量从 30.8 GFLOPs 降低到 15.4 GFLOPs。
MHFormer：引入低频 DCT 系数后，鲁棒性显著提升，计算量减少。
结论
PoseFormerV2 的频率域表示方法可以推广到其他 Transformer 基方法，显著提升效率和鲁棒性。
Conclusion
PoseFormerV2 通过引入频率域表示，显著提高了 3D 人体姿态估计的效率和鲁棒性。具体贡献如下：
效率提升：PoseFormerV2 利用离散余弦变换（DCT）将长骨骼序列压缩为低频系数，显著减少了输入长度和计算量。实验表明，PoseFormerV2 在处理长序列时的计算效率远高于其他方法，例如在 81 帧输入下仅需 77.2 MFLOPs，而 MHFormer 需要 342.9 MFLOPs。
鲁棒性增强：低频系数过滤了高频噪声，增强了模型对噪声 2D 关节检测的抵抗力。实验表明，PoseFormerV2 在噪声环境下仍能保持较高的估计精度。
性能提升：在 Human3.6M 和 MPI-INF-3DHP 两个基准数据集上，PoseFormerV2 均取得了优于其他 Transformer 基方法的性能，验证了其在速度和精度之间的良好权衡。
通用性：PoseFormerV2 的方法可以推广到其他 Transformer 基方法，如 MixSTE 和 MHFormer，通过引入低频 DCT 系数，这些方法在效率和鲁棒性方面也得到了提升。
Future Work
自动优化超参数：目前，PoseFormerV2 的超参数（如输入帧数和 DCT 系数数量）是基于实验结果手动调整的。未来工作将探索如何将这些参数设置为可学习的，从而自动优化模型性能。
扩展到其他任务：PoseFormerV2 的频率域表示方法不仅适用于 3D 人体姿态估计，还可以推广到其他需要处理长序列的任务，如动作识别和行为分析。
理论分析：进一步理论分析频率域表示在 3D 姿态估计中的优势，为未来的研究提供更深入的理论支持。
PoseFormerV2 为 3D 人体姿态估计领域提供了新的视角，通过频率域表示解决了效率和鲁棒性问题，为实际应用提供了更强大的工具。
硬性的标准其实限制不了无限可能的我们，所以啊！少年们加油吧！