物理世界中的等距3D对抗样本

论文题目:Isometric 3D Adversarial Examples in the Physical World

会议:NIPS 2022

点云:

点云------表达目标空间分布和目标表面特性的海量点集合,点包含xyz坐标信息 能够包含颜色等其他信息

使用顶点、边和面的数据表征的三维图形的表面,顶点包含坐标信息,面片常用顶点编号来表示,同时可以附加纹理颜色等信息

点云和mesh是常用的3D表示数据、获取容易(使用RGBD相机、结构光相机、激光雷达都可以获取到)、应用广泛(点云常用与自动驾驶、医疗点云数据分割、mesh可以用于3D打印再比如游戏中角色的建模),值得一提的是点云与mesh可以方便地互相转化(利用meshlab、pcl等工具可以从点云数据导出到mesh上,反之也可以在mesh上采样得到点云)

为了适应越来越广泛的点云应用,近年来涌现出了许多点云模型用于完成各类任务如分类、部件分割、语义分割等,常见的如这种基于MLP+POOling层的POINTNET结构、还有基于图卷积的DGCNN、还有一些基于transformer的、基于卷积的.......

对抗样本

在原数据上添加人眼难以识别的细微扰动使得模型分类出错

但深度神经网络是脆弱的,很容易被一些精心设计的数据所攻击,这也是对抗样本的概念,即在原本的干净数据上添加人眼难以识别的细微扰动使得模型分类出错。图中的就是两个很好的例子,比如左图的飞机、瓶子都被攻击成了植物,右图放置于车顶的激光雷达使得该车无法被检测到、3D打印出的对抗mesh由床被识别为板凳。

本质上是在给定约束条件下求最优解

点云攻击方法:

1、点扰动;对现有点改变其位置导致模型分类出错

2、点添加;在当前点云上添加独立的点、簇或小物体导致模型分类出错

3、点删除;根据不同点对于分类结果的贡献删除显著点

总结现有方法存在的问题:

1、首先由目前攻击方法生成的对抗点云仍然存在许多离群点、表面不够平滑,当进一步转化为mesh用于3D打印时,由于重建算法存在误差 很多对抗性较强的点直接被消除掉

2、即使能够被有效重建为mesh,参考左下图中的图一 无法被精准打印出来,图二的情况则是不可察觉性很差

3、现实世界中构造出的对抗物体面临着视角变化,扫描出的点云 许多对抗性较强的位置可能被遗漏掉

提出方法

1)直接对mesh进行攻击,防止引入重建误差

2)使用ε−isometry来约束扰动,提升不可察觉性

3)模拟物理转换时发生的变换,并将其视为max-min问题


实验结果

相关推荐
数字新视界13 小时前
机房动环监控提升数据中心安全性
物联网·3d·数字孪生·三维可视化·数据可视化
3D阅阅三维模型轻量化及浏览平台13 小时前
上传 3D 模型自动识别、一键报价,拆解 3D 阅阅报价底层逻辑(机加工 / 钣金)
人工智能·3d·机加工·钣金加工·模具加工
总要学点什么1 天前
第63篇:3DTiles-大雁塔模型——190 块瓦片不是八叉树,抬高的却是球心那条法线
3d·数据挖掘·数据分析·gis·webgl
云飞云共享云桌面2 天前
设计师共享单台图形服务器,解决 SolidWorks大装配卡顿难题
运维·服务器·3d·自动化·电脑·制造
天桥下的卖艺者2 天前
R语言使用ggcube包轻松绘制文章中的各类3D图形
开发语言·3d·r语言
炽橙超真云3 天前
2D 工程图纸如何自动转成可编辑 3D 模型?拆解读图与建体两条技术路径(DXF/DWG/PDF 到 STEP)
算法·3d·工业智能·工业ai
3D阅阅三维模型轻量化及浏览平台3 天前
3D 阅阅:机加工与模具厂的智能看图报价实战
3d·机械加工·机加工·钣金加工·模具加工
福大大架构师每日一题3 天前
ComfyUI v0.40.0发布:资产系统、原生 LoRA 堆栈、Qwen 3.5、3D 输出、相机节点与多项合作节点全面更新
数码相机·3d
LuminWave3 天前
洛微科技重磅发布DM-Mini 3D ToF相机:以超近距精准感知,赋能机器人灵巧操作
科技·3d·机器人
Mark White3 天前
ICCV 2019【从颜色科学到相机】06_相机为什么有自己的“味道”?色调映射、3D LUT 与 JPEG
数码相机·3d