⭐CVPR2025 RigGS:从 2D 视频到可编辑 3D 关节物体的建模新范式

⭐CVPR 顶会论文解读|RigGS:从 2D 视频到可编辑 3D 关节物体的建模新范式

📄论文题目:RigGS: Rigging of 3D Gaussians for Modeling Articulated Objects in Videos

✍️作者及机构:Yuxin Yao、Zhi Deng、Junhui Hou(香港城市大学、中国科学技术大学)

🧩面临问题:当前关节物体建模存在诸多局限。一方面,传统方法依赖通用骨架模板(如 SMPL 用于人体、MANO 用于手部),无法处理带配饰的人体、个性化手套的手部等非标准化物体;另一方面,现有骨架提取方法或依赖艺术家设计的骨架监督、仅能处理对称物体,或提取的骨架过于密集,且部分方法依赖 3D 重建质量,在 3D 数据有限时实用性不足12。

🎯创新点及其具体研究方法:

1️⃣ 骨架感知节点控制变形场:结合 3D 高斯作为基准形状表示,设计骨架感知节点控制的变形场,使基准 3D 高斯表示随时间变形以初始化建模过程,同时生成带骨架语义的候选节点。通过渲染损失、ARAP 局部刚性损失和 2D 骨架投影约束损失优化,实现动态物体重建与候选骨架点的同步获取367。

2️⃣ 启发式 3D 骨架构建算法:基于初始重建结果选择代表平均形状的时间帧作为新基准,从骨架感知节点中通过最远点采样获取均匀分布节点,构建最小生成树形成密集骨架,再结合几何、语义(利用 DINOv2 特征)和运动信息进行简化,通过添加端点、 junction 点和几何转折点,最终形成稀疏骨架树489。

3️⃣ 骨架驱动动态模型:设计基于线性混合蒙皮(LBS)的可学习粗变形,通过学习蒙皮权重将骨架与 3D 高斯绑定;同时引入姿态依赖的细节变形模块,利用 MLP 学习高斯中心位置偏移以捕捉精细变形。通过渲染损失、骨架投影损失、细节正则化损失和身份约束损失优化,实现灵活的新动作生成51011。


相关推荐
还是大剑师兰特17 小时前
Unity 从零搭建简易3D场景(新手分步教程)
3d·unity·游戏引擎
EQ-雪梨蛋花汤19 小时前
Android 3D 开发教程(三):Sceneform-EQR 配置 PBR 材质、光照、相机与实时阴影
android·3d·材质
弈语道破AI20 小时前
3D渲染不再熬时间!即梦 Seedance 2.5 具备3D白模渲染功能的AI视频生成工具
人工智能·3d·音视频
答案—answer1 天前
VibeCoding 能做到什么程度?我用它做了一座 3D 数字博物馆
3d·ai编程·threejs·vibecoding
玖玥拾2 天前
Unity3D RPG 入门项目(四)背包拖拽、物品悬浮提示、项目开发思维
3d·unity·游戏引擎
cyadyx3 天前
【Three.js】Three.js 中加载 3D 模型
前端·javascript·3d
chaoyuanl3 天前
悬空玻璃剧场源头厂家选型全解析|270°裸眼3D悬空玻璃剧场投资避坑指南
大数据·人工智能·3d·xr·娱乐·mr
在下胡三汉3 天前
GLTF vs OBJ vs FBX vs GLB:选择合适的 3D 文件格式,怎么获取下载
3d
fanfan_hongyun3 天前
Cesium for unity (可加载3dTileset)
3d
鲲穹AI种草3 天前
家装设计工具记录:多款室内 3D 设计工具能力边界整理
3d·家装设计工具