Fine Structure-Aware Sampling(AAAI 2024)论文笔记和启发

文章目录

本文解决的问题

传统的基于Pifu的人体三维重建一般通过采样来进行学习。一般选择的采样方法是空间采样,具体是在surface的表面随机位移进行样本的生成。这里的采样是同时要在XYZ三个方向上进行。所以这导致了一个问题: 点的位移方向是没有任何约束的,也就是说在任意方向均可采样。可是者在一定的程度上就对确定surface产生了挑战。 因为我们采样的最终目的其实是为了确定目标平面,但是因为方向是随机的就很难准确的找到surface的具体位置,就出现了ambiguity。 就这个问题进行优化的方式比如DOS,限制了XY方向上的采样,只从Z方向上进行采样,标签由离相机方向最近的平面来决定的。这减小了一些模糊的情况,但是不够鲁棒。

本文提出的方法以及启发

FSS在DOS的基础上提出的新的改进,提出的是双样本点的方法,也就是说,在平面内和平面外分别确定两个点,这两个点之间的连线的中间点就必落在 surface在很大的程度上解决了模糊定位的情况,surface的位置就很清晰了。

除此之位的,本文还对较薄的身体位置进行了针对性的设计。对于相对较薄的身体部位而言,根据厚度去调整位移量,从而做到保留住像手指,耳朵,这样的细小的人体结构。并通过设计锚点样本,在这些较薄的区域内,设置一个锚点用于纠正bias。这里的BIAS主要是来自于标签的值,通常情况下,我们会认为大于0.5的值是在surface里面,小于0.5的值是在surface里面,等于0.5的值是surface上面,但是整体统计看来,最大的值也才0.6 所以模型会偏向于将点的值归类为在平面外面。

还有一点可以启发之后的工作,是用tri-pifu的模块代替了MLP 的解码工作。一般的方法都会通过marching cubes来提取网格,这个过程的计算成本特别高而且不可微。 这里改进的是将特征体积视为隐式函数的3D空间(D×H×W),通过Sigmoid激活直接输出0到1的占用值,无需MLP解码。这使得厚度可通过沿z轴求和特征体积来高效计算。

相关推荐
CHNMSCS5 分钟前
PyTorch_张量索引操作
人工智能·pytorch·python
结冰架构38 分钟前
【AI提示词】成本效益分析师
大数据·人工智能·ai·信息可视化·提示词
陈奕昆39 分钟前
低代码/AI是否会取代前端开发?
人工智能·低代码
Zhouqi_Hua40 分钟前
LLM论文笔记 27: Looped Transformers for Length Generalization
论文阅读·人工智能·笔记·语言模型·论文笔记
奋斗者1号1 小时前
《TensorFlow 与 TensorFlow Lite:协同驱动 AI 应用全景》
人工智能·python·tensorflow
闭月之泪舞1 小时前
神经网络—损失函数
人工智能·深度学习·神经网络
-曾牛1 小时前
Spring AI聊天模型API:轻松构建智能聊天交互
java·人工智能·后端·spring·交互·api·springai
码码哈哈爱分享1 小时前
可商用,可离线运行,可API接口调用的开源AI数字人项目Heygem,喂饭级安装教程
人工智能·开源
江安的猪猪1 小时前
大连理工大学选修课——机器学习笔记(2):机器学习的一般原理
人工智能·笔记·机器学习
IT古董1 小时前
【漫话机器学习系列】238.训练误差与测试误差(Training Error And Test Error)
人工智能·深度学习·机器学习