Fine Structure-Aware Sampling(AAAI 2024)论文笔记和启发

文章目录

本文解决的问题

传统的基于Pifu的人体三维重建一般通过采样来进行学习。一般选择的采样方法是空间采样,具体是在surface的表面随机位移进行样本的生成。这里的采样是同时要在XYZ三个方向上进行。所以这导致了一个问题: 点的位移方向是没有任何约束的,也就是说在任意方向均可采样。可是者在一定的程度上就对确定surface产生了挑战。 因为我们采样的最终目的其实是为了确定目标平面,但是因为方向是随机的就很难准确的找到surface的具体位置,就出现了ambiguity。 就这个问题进行优化的方式比如DOS,限制了XY方向上的采样,只从Z方向上进行采样,标签由离相机方向最近的平面来决定的。这减小了一些模糊的情况,但是不够鲁棒。

本文提出的方法以及启发

FSS在DOS的基础上提出的新的改进,提出的是双样本点的方法,也就是说,在平面内和平面外分别确定两个点,这两个点之间的连线的中间点就必落在 surface在很大的程度上解决了模糊定位的情况,surface的位置就很清晰了。

除此之位的,本文还对较薄的身体位置进行了针对性的设计。对于相对较薄的身体部位而言,根据厚度去调整位移量,从而做到保留住像手指,耳朵,这样的细小的人体结构。并通过设计锚点样本,在这些较薄的区域内,设置一个锚点用于纠正bias。这里的BIAS主要是来自于标签的值,通常情况下,我们会认为大于0.5的值是在surface里面,小于0.5的值是在surface里面,等于0.5的值是surface上面,但是整体统计看来,最大的值也才0.6 所以模型会偏向于将点的值归类为在平面外面。

还有一点可以启发之后的工作,是用tri-pifu的模块代替了MLP 的解码工作。一般的方法都会通过marching cubes来提取网格,这个过程的计算成本特别高而且不可微。 这里改进的是将特征体积视为隐式函数的3D空间(D×H×W),通过Sigmoid激活直接输出0到1的占用值,无需MLP解码。这使得厚度可通过沿z轴求和特征体积来高效计算。

相关推荐
马拉AI1 小时前
创新点!贝叶斯优化、CNN与LSTM结合,实现更准预测、更快效率、更高性能!
人工智能·深度学习·机器学习
kovlistudio2 小时前
机器学习第二十七讲:Kaggle → 参加机器学习界的奥林匹克
人工智能·机器学习
bennybi2 小时前
AI方案调研与实践二:模型训练
人工智能·ai·sft·rag
MarkHD2 小时前
第十天 高精地图与定位(SLAM、RTK技术) 多传感器融合(Kalman滤波、深度学习)
人工智能·深度学习
是麟渊2 小时前
【大模型面试每日一题】Day 27:自注意力机制中Q/K/V矩阵的作用与缩放因子原理
人工智能·线性代数·自然语言处理·面试·职场和发展·架构
mozun20203 小时前
弱小目标检测任务中的YOLO、LSTM和Transformer三种模型对比2025.5.24
人工智能·yolo·目标检测·计算机视觉
riri19193 小时前
数字图像处理:基于 hough 变换的图像边缘提取
人工智能·计算机视觉
Blossom.1183 小时前
从零开始构建一个区块链应用:技术解析与实践指南
人工智能·深度学习·神经网络·物联网·机器学习·web3·区块链
非小号3 小时前
PaddleX 使用案例
人工智能·pytorch·python·机器学习·scikit-learn
漫步企鹅3 小时前
【Qt】QImage实战
人工智能·深度学习·qt·计算机视觉·qimage