机器学习周报五十

文章目录

摘要

本周复现上周提到的论文3DGA的实验,并且阅读了论文SplattingAvatar。

Abstract

This week I reproduced the experiments of the 3DGA paper mentioned last week and also read the SplattingAvatar paper.

1.SplattingAvatar

核心思想:运动与外观解耦。网格负责低频运动和表面形变(如骨骼驱动、形态变化);3D高斯点负责高频几何细节和精细外观(如皮肤纹理、衣服褶皱)。

位置与法线:每个高斯点记录其所在三角面片索引和重心坐标 (u, v) ,位置 P 由三个顶点位置插值得到。法线同理由顶点法线插值得到。

可学习的位移:高斯点的最终位置 μ 是在插值位置 P 的基础上,沿法线方向增加一个可学习的位移 d 。

包含位姿相关(由网格形变驱动的旋转和缩放)和位姿无关(规范空间的旋转、缩放、不透明度、颜色)两部分。

运动控制:直接由网格驱动。高斯点随网格顶点运动而自动变形,无需复杂的MLP网络来预测变形场,计算更高效且兼容性更强。

训练与优化:提升优化(Lifted Optimization)。训练时,高斯点参数和嵌入参数(面片索引、重心坐标、位移)同步优化。关键是允许高斯点在网格上"行走":当优化导致其重心坐标移出当前三角形时,会被重新映射到相邻三角形上,确保始终有效嵌入。

2.3dga实验

作者开源了部分的代码,在开源的基础上补充了随机重心采样监督和密度致密化两个关键操作。

总结

通过SplattingAvatar,补充了对之前的改进的不足,法线插值和重心插值可以得到一个非线性连续场,解决3dga只有重心插值,在三角面片内只有线形关系的问题。在之前也尝试过建立一个非线性连续人体场,缺乏理论指导,SplattingAvatar提供了思路。