w~视觉~3D~合集5

我自己的原文哦~https://blog.51cto.com/whaosoft/12898983

#Neural Sewing Machine (NSM)

Neural Sewing Machine (NSM),一种新颖的保持 3D 衣物结构的学习框架,可以有效表示多样化形状和拓扑结构的 3D 衣物,并应用于 3D 衣物表征,3D 衣物重建和可控衣物编辑。

中山大学 HCP 实验室联合牛津大学 TVG 实验室共同发表论文《Structure-Preserving 3D Modeling with Neural Sewing Machines》该工作主要由陈曦鹏、王广润博士等人完成。

3D 衣物建模是计算机领域的一个关键且具有挑战性的任务,具体是指如何在计算机中构建一件 3D 的虚拟衣物。构建 3D 衣物具有多种实际应用,包括 3D 虚拟试衣、虚拟数字人和服装设计。最近基于学习的衣物建模方法收到越来越多的关注,然而,现有方法多针对特定类别或相对简单拓扑的衣物进行建模。

论文链接: https://arxiv.org/abs/2211.06701

背景

目前基于学习的方法要么使用固定的 3D 网格模板,将衣物表示为 SMPL 模型上的位移,或是借助人体的 UV 参数化来表示衣物。这些方法主要针对特定的衣物类别,或是拓扑结构相对简单的衣物进行建模。那么是否存在一个模型可以表达不同种类且形状各异的衣物呢?

缝纫纸样(sewing pattern)是衣物建模和生产中广泛使用的一种结构。缝纫纸样由一组 2D 面板以及面板间的缝合信息组成。例如,一条裙子的缝纫纸样有 4 个 2D 面板(panel)。每个面板对应于 3D 衣物的一部分。使用缝纫纸样来建模 3D 衣物可带来以下好处:

  • 首先,可以表达各种不同类别和形状的衣物
  • 其次,描述了 3D 衣物的内在结构
  • 最后,提供了衣物的 UV 参数化

模型

本文提出了 Neural Sewing Machine(NSM),一种保持 3D 衣物结构的学习框架,能够学习不同形状和拓扑的衣物的表示,主要由以下三个模块组成:

1)缝纫纸样编码模块能够将不同衣物类别的缝纫纸样编码到一个低维空间中。一件衣物可以分解为几个基本部分,例如,一件夹克可以由帽子、袖子和背心部位组成。因此可以将衣服拆解成几个基本的部件类别,并为每种类别计算一个 PCA 子空间。通过拼接这些类别的 PCA 系数来获得缝纫纸样的特征编码。

2)3D 衣物预测模块负责从缝纫纸样的特征编码中解码出 3D 衣物。本文引入了带有掩模的 UV 位置图(UV position maps with masks)来表示一件 3D 的衣物。具体来说,UV 位置图将衣物的 3D 坐标存储在缝纫纸样每一个面板的 UV 坐标处,而掩模图表示了缝纫纸样每一个面板的形状。其中 UV 位置图是通过一个 CNN 解码器预测得到,而预测的掩模图通过 inverse PCA 解码获得。

3)为了保持 3D 衣物的内在结构,本文在框架的训练中引入了四个损失函数: (a)3D 重建损失约束了预测的 UV 位置图和 3D 标签相同。(b)面板内结构保护损失约束了缝纫纸样与对应的 3D 衣物在局部的拉伸保持一致。(c)面板间结构保护损失将 3D 空间中两个邻接面板的边缘缝合在一起。(d)表面法线损失约束了预测的 3D 衣物应具有与 3D 标签相同的表面法线向量。

实验

实验表明了我们的框架能够表示不同的形状和拓扑结构下的 3D 衣物。同时,我们验证了基于单张图像的 3D 衣物重建任务,可以看到我们的方法有助于保持衣物的细节结构。我们还展示了可控的衣物编辑,通过在缝纫纸样上进行编辑来显著改变衣物的 3D 形状或是将衣物从一个类别变换到另一个类别。

消融实验验证了我们框架中每个组件的有效性。我们还展示了在缝纫纸样的特征编码上插值的结果。可以看到,2D 缝纫纸样和 3D 衣物的变化是一致的。最后,我们展示了方法对真实场景具备一定的泛化能力,尽管我们的框架仅在合成数据进行训练,合成数据与真实场景之间存在域差距,但结果证实了我们方法的具备一定的泛化能力。

实验室简介

中山大学人机物智能融合实验室 (HCP Lab) 由林倞教授于 2010 年创办,围绕人工智能前沿技术布局研究课题,获得中国图像图形学会科技一等奖、吴文俊自然科学奖、省级自然科学一等奖等荣誉;培养了梁小丹、王可泽等国家级青年人才。

相关推荐
cxr82811 分钟前
AI智能体赋能文化传承与创新领域:社群身份认同的数字空间重构与文化融合策略
大数据·人工智能·重构·提示词工程·ai赋能
常州晟凯电子科技14 分钟前
海思SS626开发笔记之环境搭建和SDK编译
人工智能·笔记·嵌入式硬件·物联网
Apifox.24 分钟前
Apifox 9 月更新| AI 生成接口测试用例、在线文档调试能力全面升级、内置更多 HTTP 状态码、支持将目录转换为模块
前端·人工智能·后端·http·ai·测试用例·postman
武子康28 分钟前
AI-调查研究-95-具身智能 机器人场景测试全解析:从极端环境仿真到自动化故障注入
人工智能·深度学习·机器学习·ai·机器人·自动化·具身智能
Light6031 分钟前
领码方案|微服务与SOA的世纪对话(3):方法论新生——DDD、服务网格与AI Ops的融合之道
运维·人工智能·微服务·ddd·soa·服务网格·ai ops
realhuizhu1 小时前
国庆收心指南:用AI提示词工程解决节后综合征
人工智能·ai·chatgpt·prompt·提示词·deepseek·假期综合征·节后综合征
老兵发新帖1 小时前
归一化分析2
人工智能
yzx9910131 小时前
低空经济新纪元:AI驱动的智能无人机技术与应用
人工智能·无人机
一袋米扛几楼981 小时前
【机器学习】混淆矩阵(confusion matrix)TP TN FP FN
人工智能·机器学习·矩阵
袁庭新2 小时前
2025年09月总结
人工智能·aigc