⭐CVPR2025 3D 生成新框架|Kiss3DGen 让 2D 扩散模型玩转 3D 资产生成

⭐CVPR 3D 生成新框架|Kiss3DGen 让 2D 扩散模型玩转 3D 资产生成

📄论文题目:Kiss3DGen: Repurposing Image Diffusion Models for 3D Asset Generation

✍️作者及机构:Jiantao Lin、Xin Yang、Meixi Chen 等(HKUST (GZ)、HKUST、广州趣丸网络技术)

🧩面临问题:当前 3D 内容生成在质量和泛化性上存在局限。一方面,优化型方法(如 DreamFusion)需密集迭代优化,推理耗时;另一方面,直接生成法(如 InstantMesh)依赖大规模 3D 数据集,但高质量 3D 数据稀缺(Objaverse-XL 约 70% 数据存在纹理缺失等问题)。此外,2D 扩散模型虽含强大 3D 先验,却多仅生成 depth/normal 等 2.5D 表示,无法支持完整 3D 生成。

🎯创新点及其具体研究方法:

1️⃣ 提出 "3D Bundle Image" 表示与 Kiss3DGen 基础框架:将 3D 物体渲染为 4 个视角的 RGB 图及对应法线图,组合为 "3D Bundle Image" 这一 2D 表示,将 3D 生成转化为 2D 图像生成任务,最大化复用预训练 2D 扩散模型知识。通过 GPT-4V 为 Bundle Image 生成描述性文本,结合 LoRA 微调 Flux 模型得到 Kiss3DGen-Base,实现文本驱动生成 Bundle Image,再经 ISOMER 重建 3D 网格。

2️⃣ 集成 ControlNet 扩展多任务能力:提出 Kiss3DGen-ControlNet,通过 ControlNet 实现 3D 增强、编辑和图像到 3D 生成。3D 增强中用 ControlNet-Tile 优化低质量网格的纹理和几何细节;3D 编辑通过调整 ControlNet 权重(λ₁=0.3、λ₂=0.5)支持属性修改;图像到 3D 则先由 InstantMesh 生成粗网格,再经增强 pipeline 优化。

3️⃣ 小数据高效训练机制:对 Objaverse 数据集精筛得到 147k 高质量 3D 物体,仅用 3 天在 8 张 A800 GPU 上完成训练;即使缩减至 50k 数据集,在文本到 3D、图像到 3D 等任务中仍保持竞争力,验证数据效率优势。





相关推荐
feasibility.3 天前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
Solange__5 天前
Blender 3D模型优化:普通复制、共享网格、实例、合并怎么选?
人工智能·3d·ai·自然语言处理·编辑器·blender·材质
Martina_03216 天前
AI生成的3D白模单帧没问题,镜头一移动就被挡?用6步检查遮挡与构图
图像处理·人工智能·数学建模·3d·ai·自然语言处理·游戏策划
时间的情敌9 天前
Cesium 建筑单体化、3DTiles 分类、楼层显隐、分户高亮(BIM + 倾斜孪生高频)
前端·3d·cesium
加搜科技观察10 天前
哪个品牌 3D 相机好用?工业 3D 相机品牌选型评估指南
数码相机·3d
Martina_032111 天前
AI生成3D场景的霓虹灯一开就糊成光团?用6步检查Emissive、Bloom与曝光
人工智能·3d·ai·自然语言处理·游戏引擎·材质·贴图
Martina_032112 天前
AI生成3D场景从白模换成精模后镜头全偏了?用6步检查单位、枢轴与层级替换
图像处理·人工智能·3d·ai·自然语言处理·材质·1024程序员节
时间的情敌13 天前
Cesium 加载 3D Tiles 倾斜摄影、压平、样式设置(Vue3 实战)
vue.js·3d·cesium
AGI_Eval14 天前
AI 3D生成技术:从“可用”走向“可靠”还有多远?
人工智能·3d