TIP 2025 | 哈工大&哈佛等提出 TripleMixer：攻克雨雪雾干扰的3D点云去噪网络！

恶劣天气条件（如雪、雾、雨）会产生噪声和数据缺失，严重挑战了基于**激光雷达（LiDAR）**的感知模型。为解决此问题，现有方案主要分为两类：一是需要针对特定任务重新训练且泛化性差的域迁移方法；二是作为预处理步骤的去噪方法。然而，现有的去噪方法在捕捉多尺度空间结构和区分高频噪声与有效几何特征方面能力有限。

本文提出了一种名为 TripleMixer 的鲁棒高效的点云去噪网络，它通过三个专门的混合器模块------几何混合器（GMX） 、频率混合器（FMX）和通道混合器（CMX），集成了空间、频率和通道维度的处理能力。该模型能有效抑制高频噪声，同时保留关键的几何结构，并可作为即插即用模块无缝集成到现有LiDAR感知流程中。

此外，为支持该领域研究，本文构建了两个大规模模拟数据集 Weather-KITTI 和 Weather-NuScenes，并建立了四个基准测试：去噪、语义分割、地点识别和目标检测。实验证明，TripleMixer在去噪任务上达到最优性能，并在无需重新训练下游模型的情况下，显著提升了它们在真实世界恶劣天气下的性能。

另外，我整理了计算机视觉必读20本电子书pdf清单资源合集，感兴趣的dd~

原文资料这里！

一、论文基本信息

基本信息

论文标题：TripleMixer: A 3D Point Cloud Denoising Model for Adverse Weather
作者：Xiongwei Zhao, Congcong Wen, Xu Zhu, Yang Wang, Haojie Bai, Wenhao Dou
机构：哈尔滨工业大学,哈佛大学,纽约大学
代码链接：https://github.com/Grandzxw/TripleMixer
论文链接：https://arxiv.org/pdf/2408.13802

摘要精炼

本文旨在解决恶劣天气下LiDAR点云的噪声问题，以提升下游感知任务的鲁棒性。为实现此目标，论文提出了一种即插即用的点云去噪网络TripleMixer。其核心技术贡献在于设计了一个集成空间、频率和通道处理的三重混合器架构，能够有效分离并滤除天气引起的高频噪声，同时保留场景的关键几何结构。

此外，论文还构建了两个大规模模拟 adverse weather 数据集（Weather-KITTI 和 Weather-NuScenes），并设立了四大基准测试（去噪、语义分割、地点识别、目标检测）。关键结论表明，TripleMixer在去噪性能上达到了当前最佳水平（SOTA），并且在作为预处理模块时，无需重新训练即可显著提升下游任务在真实世界恶劣天气下的性能，相对准确率增益分别高达20%（语义分割）、56%（地点识别）和16%（目标检测）。

二、研究背景与相关工作

研究背景

LiDAR是自动驾驶系统的核心传感器，但在雪、雾、雨等恶劣天气下，其性能会严重下降。天气颗粒会导致激光束异常散射、反射或吸收，从而在点云数据中引入大量噪声点和信息缺失点（如图1所示）。这种数据退化直接影响了下游感知任务（如语义分割、地点识别和目标检测）的可靠性与准确性，对自动驾驶系统的安全性构成巨大挑战。

因此，开发能够在恶劣天气下有效恢复点云质量、提升LiDAR感知鲁棒性的技术，具有至关重要的研究意义和应用价值。本文提出的两大贡献------模拟数据集与去噪网络，为该方向提供了坚实的基础。模拟数据集的统计信息可见图2 和图3。

三、主要贡献与创新

1. 提出TripleMixer去噪网络

设计并实现了一个新颖的即插即用点云去噪网络TripleMixer。该网络通过专门的几何、频率和通道混合器层，协同处理空间、频率和通道信息，实现了对恶劣天气噪声的高效、可解释和鲁棒的滤除，并可直接集成到现有LiDAR感知流程中以增强其鲁棒性。

2. 构建大规模数据集与基准测试

创建了两个大规模模拟LiDAR数据集：Weather-KITTI和Weather-NuScenes，它们覆盖了多种恶劣天气条件，并提供了密集的逐点语义和噪声标签。基于这些数据集，建立了四个全面的基准测试：去噪、语义分割（SS）、地点识别（PR）和目标检测（OD），为开发和评估鲁棒的3D感知模型提供了坚实基础。

3. 验证了模型的卓越性能与泛化能力

在所有基准测试中进行了广泛实验。结果表明，TripleMixer不仅在去噪任务上取得了SOTA性能，而且在作为预处理模块时，无需重新训练下游模型，就能显著提升其在真实世界恶劣天气下的SS、PR和OD任务性能，证明了模型和数据集强大的泛化能力与实用价值。

四、研究方法与原理

总体框架与核心思想

TripleMixer的核心设计哲学是多维度信息融合，通过三个解耦的混合器模块，分别从空间几何、信号频率和特征通道三个维度对点云进行精细化处理和去噪。

几何混合器 (GMX) : 负责捕捉点云的局部几何结构。它通过体素内混合和点间混合，并结合注意力池化 (attentive pooling) 机制，有效编码了每个点周围的空间关系和几何细节。
频率混合器 (FMX) : 负责在频率域中区分信号与噪声。它首先将3D特征通过三重平面投影 (triple plane projection) 映射到三个正交的2D平面上，然后利用可学习的提升小波分解 (lifting wavelet decomposition) 进行多尺度分析，从而有效分离代表噪声的高频成分和代表结构信息的低频成分。
通道混合器 (CMX): 负责在特征层面进行信息提炼。它通过混合不同通道间的上下文信息，整合来自不同方向和尺度的特征，从而增强最终的特征表示能力。

该框架的整体流程如图5所示。

关键实现与评估原理

关键实现细节

GMX中的注意力池化 ：为了有效聚合邻域信息，GMX不采用简单的最大池化或平均池化，而是使用注意力机制，为每个邻近点的特征学习一个权重，从而突出重要的局部几何特征。该过程由以下公式定义：
c i k = Softmax ( FC ( l i k ) ) c_i^k = \text{Softmax}(\text{FC}(l_i^k)) cik=Softmax(FC(lik))
f i = ∑ i = 1 K c i k ⊙ l i k f_i = \sum_{i=1}^{K} c_i^k \odot l_i^k fi=i=1∑Kcik⊙lik
FMX中的提升小波分解：FMX的核心是可学习的提升小波模块，它将2D投影特征分解为近似分量（低频）和细节分量（高频）。通过在损失函数中对细节分量进行正则化，模型被引导去抑制高频噪声。
损失函数设计 ：模型的训练目标由一个复合损失函数引导，以确保去噪的准确性和特征的一致性。
L = L c e + L l o v a s z + L w r L = L_{ce} + L_{lovasz} + L_{wr} L=Lce+Llovasz+Lwr
其中， L c e L_{ce} Lce是交叉熵损失， L l o v a s z L_{lovasz} Llovasz用于处理类别不平衡问题，而 L w r L_{wr} Lwr是小波正则化项 ，用于约束小波分解过程，其定义为：
L w r = λ 1 ∑ t = 1 N ∥ D t ∥ 2 2 + λ 2 ∑ t = 1 N ∥ A t − A t − 1 ∥ 2 2 L_{wr} = \lambda_1 \sum_{t=1}^{N} \|D_t\|2^2 + \lambda_2 \sum{t=1}^{N} \|A_t - A_{t-1}\|_2^2 Lwr=λ1t=1∑N∥Dt∥22+λ2t=1∑N∥At−At−1∥22

核心评估原理与指标

去噪性能评估 : 采用精确率 (Precision) 、召回率 (Recall) 、F1分数 (F1 score) 和 平均交并比 (mIoU) 作为核心指标。这些指标全面地衡量了模型正确识别和移除噪声点的能力。
- mIoU 定义为：
  mIoU = T P T P + F P + F N \text{mIoU} = \frac{TP}{TP + FP + FN} mIoU=TP+FP+FNTP
  其中TP、FP、FN分别代表真正例、假正例和假反例。
下游任务评估: 对于语义分割、地点识别和目标检测任务，分别使用各自领域的标准评估指标（如SS的mIoU，PR的Recall@1，OD的mAP）来衡量去噪预处理对这些任务性能的提升效果。

五、实验结果与分析

实验设置

数据集 :
- 去噪: WADS (真实世界), Weather-KITTI (模拟), Weather-NuScenes (模拟)。
- 语义分割: SemanticSTF (真实世界)。
- 地点识别: Boreas (真实世界), Weather-KITTI (模拟)。
- 目标检测: CADC (真实世界)。
评估指标 :
- 去噪: Precision, Recall, F1, mIoU。
- SS: mIoU。
- PR: R@1, R@1%, F1, mRS。
- OD: mAP (R40)。
对比基线 :
- 去噪: 包含传统方法(DSOR, DROR)、基于2D投影的方法(WeatherNet, 4DenoiseNet)和基于3D点云的方法(3D-OutDet, Cylinder3D, LSK3DNet)等。
- 下游任务: SphereFormer, SFPNet (SS); OverlapTransformer, CVTNet (PR); TED-S, PG-RCNN (OD)等SOTA模型。
关键超参: 输入点云体素化分辨率为[256, 256, 32]，使用AdamW优化器，初始学习率0.001，采用余弦退火策略。

核心实验与结论

【指令】 : 选择在自建数据集 Weather-KITTI 上的去噪性能对比实验进行阐述。

实验目的: 旨在全面评估TripleMixer在多种模拟恶劣天气场景（雪、雾、雨）下的去噪性能，并与当前主流的及最先进的去噪和分割模型进行定量比较。

关键结果 : 如表6 所示，TripleMixer在Weather-KITTI数据集上的综合表现最佳。它取得了96.31的平均mIoU，显著优于所有对比方法。具体而言，其性能超过了专门的去噪模型如4DenoiseNet (81.85%) 和 3D-OutDet (91.55%)，也优于强大的分割模型如LSK3DNet (94.66%)。在雪、雾、雨三种场景下，TripleMixer的mIoU分别达到了96.46%、95.61%和96.87%，展现了其在不同噪声模式下的稳定性和鲁棒性。定性结果（见图8）也直观地显示，TripleMixer能生成比其他方法更干净、结构更完整的点云。
作者结论: 作者认为，这一优异性能归功于TripleMixer的频率混合器（FMX）模块。通过可学习的提升小波分解，该模块能进行多尺度频率分析，从而精确地分离和抑制代表噪声的高频信息，同时保留对下游任务至关重要的几何结构细节。这种设计使得模型在精确率和召回率之间取得了更优的平衡，从而在各种复杂的恶劣天气条件下都能实现一致且强大的去噪效果。

六、论文结论与启示

总结

本文成功应对了恶劣天气下LiDAR感知性能下降的严峻挑战。首先，通过构建两个大规模、带精细标注的模拟数据集（Weather-KITTI和Weather-NuScenes），为研究社区提供了宝贵的资源。其次，提出了TripleMixer，一个集成了空间、频率和通道处理的创新去噪网络。该网络不仅在去噪任务上取得了SOTA性能，更重要的是，它作为一个即插即用的预处理模块，能够在不修改下游模型的情况下，显著提升它们在真实世界恶劣天气场景中的鲁棒性。这一系列工作为实现全天候自动驾驶感知系统提供了坚实的技术支撑和清晰的评估框架。

展望

论文的讨论部分指出了未来两个可能的研究方向：

轻量化模型设计: 当前TripleMixer的多分支混合器设计虽然效果显著，但参数量相对较高。未来的工作将探索开发更轻量级的去噪网络，以便在资源受限的车载计算平台上进行高效部署。
提升模拟数据真实性: 尽管合成天气数据具有可扩展性和可控性，但与真实世界的复杂天气条件仍存在差距。未来将探索更逼真的天气模拟技术，并致力于扩充真实世界的恶劣天气数据集，以进一步提升模型的泛化能力。