Odd-One-Out: Anomaly Detection by Comparing with Neighbors
无监督多视图场景中的细粒度异常检测旨在从一组相似对象中识别出"外观异常"的个体实例。传统方法面临三大核心挑战：
- 依赖固定正常性假设：标准AD设定假定存在全局一致的"正常"模式，无法应对场景内相对定义的异常。
- 缺乏跨实例比较能力：现有模型难以建模对象间的细微差异（如裂纹、错位），尤其当这些异常仅在特定视角可见时。
- 对遮挡和几何歧义鲁棒性差：单视角输入限制了对复杂形变或局部缺陷的有效感知。
本文提出Odd-One-Out框架，在ToysAD-8K上达到AUROC=89.15%，超越基线方法最高达16.29个百分点。
图1. (a) 提出了一项新型异常检测任务，专注于识别场景中与其他实例相比具有"异常外观"的物体。该任务灵感源自生产环境中的实际质量控制场景，旨在检测制造样本组中几何形状与纹理的细微差异，包括裂纹、断裂等缺陷特征。(b) 本研究采用场景特定化设置，需要对输入场景中的物体实例进行多场景比对，这与仅需单一物体作为输入的标准异常检测场景存在显著差异。(c) 基于匹配机制的检测范式实现了跨类别性能表现
核心贡献
本文核心贡献包括：
- 首个完全无监督多实例对比范式，解决"固定正常性假设"问题 ------ 在ToysAD-8K-Unseen上AUROC达89.15%。
- 引入多视角3D特征体积构建模块，增强遮挡下异常感知能力 ------ 支持任意视角下的细粒度匹配。
- 提出DINOv2蒸馏驱动的部件感知表示机制，提升局部对应一致性 ------ 特征匹配精度提高约7.6%。
- 设计稀疏体素注意力机制进行跨实例匹配，避免噪声干扰 ------ 减少误检率约3.1%。
- 发布两个新基准数据集ToysAD-8K与PartsAD-15K，推动该领域研究标准化。
相关工作综述
(一) 学习范式局限
现有方法主要包括：[重构类方法]（如COLMAP + Siamese网络），其核心思想是通过点云重建衡量异常程度，但局限在于重建质量易受视角数量影响 及无法捕捉对象间细微差异。
→ 本文改进：采用多视图投影融合+稀疏注意力实现精确跨实例匹配。
(二) 多视图处理不足
现有方法还包括：[多视角3D检测器]（如ImVoxelNet、DETR3D），其核心思路是对每个对象独立分类，但局限在于忽视同类对象之间的上下文关系 和难以区分微小形变与正常变化。
→ 本文改进：通过DINOv2引导的神经场渲染强化3D表征一致性，支持更精细的对象级比对。
方法论详解
图2. 框架架构概述。首先通过二维卷积神经网络（2D CNN）从输入视图序列中提取特征，并将其反投影至三维空间体，随后通过三维卷积神经网络（3D CNN）进行优化处理，最终生成特征向量Fv。接着，我们提取以物体为中心的特征体{zn}（n=1），将其输入跨实例匹配模块，利用稀疏体素注意力机制学习物体间的关联性。为提升场景的三维表征质量，我们整合了二维视觉模型DINOv2的知识体系，并通过可微分渲染技术将这些知识融入三维网络。该方法有助于构建具有部件感知能力和几何一致性特征表征。
1. 多视角3D特征体积构建
-
- 功能：整合多个RGB图像视角生成统一的3D空间表示。
-
- 机制：使用共享ResNet50提取各视角2D特征后反投影至统一voxel网格，并经3D CNN聚合优化。
-
- 动机：相比直接拼接或平均池化策略，该方式能保留更多视角互补信息；相较于纯2D方法更具遮挡容忍性。
2. 基于DINOv2蒸馏的特征增强模块
-
- 功能：提升3D表征的语义丰富性和几何一致性。
-
- 机制：利用预训练DINOv2作为教师网络，通过可微分渲染将2D视觉知识迁移至3D神经场。
-
- 动机：DINOv2具有强泛化能力和密集语义响应特性，有助于建立稳健的局部对应关系；PCA降维后通道数由原始高维降至128，平衡表达力与效率。
3. 对象中心特征抽取
-
- 功能：定位并提取场景中各个对象的局部3D特征块。
-
- 机制：基于预测密度图做DBSCAN聚类获得粗略边界框，再通过RoI Pooling获取固定尺寸(8×8×8)的特征立方体。
-
- 动机：无需真实标注即可自动分割对象区域，适配工业质检等无需人工干预的应用场景。
4. 稀疏体素注意力跨实例匹配
-
- 功能：执行高效的对象间局部特征匹配以判断异常。
-
- 机制：计算每对对象之间top-k最相关voxel位置，然后应用稀疏注意力机制加权融合邻近对象的信息。
-
- 动机：相比于全连接注意力，稀疏形式减少了冗余交互带来的噪声污染，同时聚焦真正相关的局部区域，提升了判别准确性。
实验与验证
性能对比
效率分析
-
- 参数总量约为原生NeRF架构减少约40%，推理速度达65ms/scene（A40 GPU）。
-
- 消融实验显示：去除DINOv2蒸馏 → AUC ↓5.8%；移除稀疏注意力 → AUC ↓2.1%。
关键发现
-
- 性能提升主要源于两方面：一是DINOv2提供的语义一致性增强了局部匹配可靠性；二是稀疏注意力机制有效抑制了非相关特征间的干扰。
-
- 不同变体（GCL_PT vs GCL_B）表明：结合part-aware表示的学习策略优于单纯依赖外观相似性的方法。
结论与展望
贡献重申
- 提出全新多实例对比式异常检测任务。
- 构建ToysAD-8K与PartsAD-15K两大公开数据集。
- 实现SOTA性能（ToysAD-8K AUROC=89.15）。
未来方向
- 探索动态阈值自适应调整策略；
- 引入时间序列建模处理动态异常演变；
- 扩展至软异常检测（soft anomaly scoring）；
- 部署轻量化版本用于边缘设备实时检测。
局限性
- 当前仅适用于刚体对象，未考虑柔性变形；
- 在无明显异常长视频中可能误报稀有正常事件。