2024年CVPR最佳学生论文《SpiderMatch:3D Shape Matching with Global Optimality and Geometric Consistency》提出了一种新的3D形状匹配方法,能在保证几何一致性的同时,找到全局最优的匹配结果。
一、背景
• 3D形状匹配问题
在视觉计算中,寻找给定3D形状之间的对应关系是一项重要任务,广泛应用于图形纹理传递、医学成像中的统计形状分析、计算机视觉的三维重建或形状补全等。
• 现有方法局限性
当前最先进的3D形状匹配方法依赖于数据驱动的深度学习,虽能快速预测高质量的对应关系,但缺乏对匹配结果结构属性的保证,尤其是几何一致性。几何一致性是指在匹配过程中,形状元素之间的邻域关系得以保持。
二、研究方法
• SpiderCurve表示法
提出了一种新的形状离散化方法,将源3D形状表示为SpiderCurve,即一条长的自相交曲线,沿着3D形状表面追踪,类似于蜘蛛网覆盖形状表面。 • 整数线性规划(ILP)问题
将3D形状匹配问题转化为在SpiderCurve和目标3D形状的乘积图中寻找最短路径的问题,并引入一系列新的约束条件,以确保全局几何一致性。具体定义了以下约束:
1)循环路径约束(CYC):确保SpiderCurve中的每个顶点至少被匹配一次,即最优循环路径穿过所有层。
2)路径连续性约束(CON):确保每个具有活动(xi=1)进入边的乘积顶点也有活动(xj=1)的出边,即路径必须是连续的。
3)保持现有自相交约束(PES):确保SpiderCurve中的每个自相交在匹配到目标形状时,涉及相同的顶点,从而保持几何一致性。
4)避免新自相交约束(ANS):禁止匹配引入新的自相交,通过限制匹配路径使得目标形状中的每个顶点最多只被访问一次。
三、方法比较
与Cao et al.、Ren et al.、Eisenberger et al.、Roetzer et al.四种方法了比较。
四、数据集
• FAUST数据集
SpiderMatch在解决局部不匹配方面优于Cao et al.,从而获得更低的测地线误差分数。Ren et al.由于人类形状的固有对称性导致左右翻转,测地线误差大幅增加。
• SMAL数据集
SpiderMatch在所有方法中表现最佳。由于形状未对齐,Eisenberger et al.的性能受到影响。
• DT4D-H数据集
在类内设置中,SpiderMatch优于所有方法。在类间设置中,SpiderMatch与Cao et al.相当。Eisenberger et al.在两种设置中都受到未对齐形状的影响,而Ren et al.产生了大量的左右翻转。
五、结论
• SpiderMatch是首个能够在保证几何一致性的同时,找到全局最优解的3D形状匹配方法。
• 通过SpiderCurve表示法和整数线性规划问题,SpiderMatch在实际相关大小的问题中能够有效地找到解决方案,例如使用现成的ILP求解器Gurobi在大约100秒内匹配具有1000个三角形的形状。
• SpiderMatch在多个数据集上展现出与最新最先进的形状匹配方法相当的性能,同时保证了几何一致性和全局最优性,这两者是之前任何3D形状匹配方法都未能达到的。
GitHub 链接: github.com/paul0noah/s...