⭐CVPR2025 RigGS:从 2D 视频到可编辑 3D 关节物体的建模新范式

⭐CVPR 顶会论文解读|RigGS:从 2D 视频到可编辑 3D 关节物体的建模新范式

📄论文题目:RigGS: Rigging of 3D Gaussians for Modeling Articulated Objects in Videos

✍️作者及机构:Yuxin Yao、Zhi Deng、Junhui Hou(香港城市大学、中国科学技术大学)

🧩面临问题:当前关节物体建模存在诸多局限。一方面,传统方法依赖通用骨架模板(如 SMPL 用于人体、MANO 用于手部),无法处理带配饰的人体、个性化手套的手部等非标准化物体;另一方面,现有骨架提取方法或依赖艺术家设计的骨架监督、仅能处理对称物体,或提取的骨架过于密集,且部分方法依赖 3D 重建质量,在 3D 数据有限时实用性不足12。

🎯创新点及其具体研究方法:

1️⃣ 骨架感知节点控制变形场:结合 3D 高斯作为基准形状表示,设计骨架感知节点控制的变形场,使基准 3D 高斯表示随时间变形以初始化建模过程,同时生成带骨架语义的候选节点。通过渲染损失、ARAP 局部刚性损失和 2D 骨架投影约束损失优化,实现动态物体重建与候选骨架点的同步获取367。

2️⃣ 启发式 3D 骨架构建算法:基于初始重建结果选择代表平均形状的时间帧作为新基准,从骨架感知节点中通过最远点采样获取均匀分布节点,构建最小生成树形成密集骨架,再结合几何、语义(利用 DINOv2 特征)和运动信息进行简化,通过添加端点、 junction 点和几何转折点,最终形成稀疏骨架树489。

3️⃣ 骨架驱动动态模型:设计基于线性混合蒙皮(LBS)的可学习粗变形,通过学习蒙皮权重将骨架与 3D 高斯绑定;同时引入姿态依赖的细节变形模块,利用 MLP 学习高斯中心位置偏移以捕捉精细变形。通过渲染损失、骨架投影损失、细节正则化损失和身份约束损失优化,实现灵活的新动作生成51011。


相关推荐
爱看书的小沐20 小时前
【小沐杂货铺】基于Three.js绘制三维艺术画廊3DArtGallery (Three.js,WebGL)
javascript·3d·webgl·three.js·babylon.js·三维画廊
格林威20 小时前
3D相机视觉检测:环境光太强,结构光点云全是噪点怎么办?
开发语言·人工智能·数码相机·计算机视觉·3d·视觉检测·工业相机
threelab1 天前
Three.js 3D 饼图效果 | 三维可视化 / AI 提示词
javascript·人工智能·3d
bzmK1DTbd2 天前
OpenGL与Java:JOGL库的3D图形渲染实战
java·3d·图形渲染
动恰客流管家3 天前
动恰3DV3丨2026年实体商业数字化转型:客流数据是第一生产力——全场景智慧客流解决方案
大数据·人工智能·3d·性能优化
charlie1145141913 天前
通用GUI编程技术——图形渲染实战(四十)——深度缓冲与3D变换:从平面到立体
开发语言·c++·平面·3d·图形渲染·win32
cy_cy0024 天前
互动滑轨屏如何优化参观动线?
科技·3d·人机交互·交互·软件构建
Coovally AI模型快速验证4 天前
CVPR 2026|PanDA:首个多模态3D全景分割的无监督域适应框架
人工智能·3d·视觉检测·工业质检
AGV算法笔记4 天前
CVPR 2024顶级SLAM论文精读:SplaTAM如何用3D高斯实现稠密RGB-D SLAM?
深度学习·3d·机器人视觉·slam·三维重建
hhhhhh_we4 天前
皮肤人格的工程化实现:预颜美历如何用3D点云与循环神经网络构建数字孪生人格
图像处理·人工智能·rnn·深度学习·神经网络·3d·产品运营