⭐CVPR 顶会突破!给 3D 高斯穿 "UV 衣" 的 UVGS 框架📄
📄论文题目:UVGS: Reimagining Unstructured 3D Gaussian Splatting using UV Mapping
✍️作者及机构:Aashish Rai 等(布朗大学 + Meta Reality Labs)
💻代码链接:https://aashishrai3799.github.io/uvgs
🧩面临问题: 3D 高斯渲染(3DGS)虽渲染快、质量高,但生成任务长期受限!核心痛点在于:高斯基元是离散无结构的,缺乏空间顺序,像 "散乱的点";存在置换不变性(点打乱顺序仍为同一物体),导致 2D 大模型(如 diffusion、VAE)无法直接适配;现有方法或依赖体素 / 三平面(质量低),或直接预测属性(计算成本高),实用性拉胯🔋
🎯创新点及其具体研究方法:
1️⃣ UVGS:给 3D 高斯贴 "2D 结构标签"核心思路:通过球面映射将无结构 3D 高斯转化为有序 UV 图。研究方法:将每个高斯的位置、旋转、尺度、颜色、不透明度等 14 个属性,基于球面坐标(方位角、极角)映射到 2D 网格,形成 14 通道 UVGS 图。解决置换不变性,使局部 / 全局高斯都有固定对应关系,让 CNN 可直接提取空间特征🔍
2️⃣ Super UVGS:3 通道压缩适配 2D 大模型,核心思路:将 14 通道 UVGS 压缩为 3 通道,无缝对接预训练 2D 模型。研究方法:设计多分支 CNN 网络,分位置、变换、外观三个分支单独处理异质属性,再通过中央分支融合为 3 通道图。无需额外训练,即可直接兼容 VAE、diffusion 等模型,优化存储和计算效率💾
3️⃣ 解锁 3DGS 新应用场景,核心思路:基于 UVGS 和 Super UVGS 拓展 3D 生成任务边界。研究方法:压缩:用图像自编码器实现 99.5% 超高压缩率;生成:训练 diffusion 模型直接生成 Super UVGS,再转回 3D 高斯,支持无条件 / 文本条件生成;修复:利用 diffusion 的去噪能力补全缺失高斯基元,实现 3DGSinpainting🖌️
