⭐CVPR2025 FreeUV:无真值 3D 人脸纹理重建框架

📄论文题目:FreeUV: Ground-Truth-Free Realistic Facial UV Texture Recovery via Cross-Assembly Inference Strategy

✍️作者及机构:Xingchao Yang、Takafumi Taketomi、Yuki Endo、Yoshihiro Kanamori(CyberAgent、University of Tsukuba)

🧩面临问题:当前 3D 人脸 UV 纹理重建存在数据依赖和泛化能力不足的问题。一方面,传统方法依赖 costly 的真实 UV 数据集或合成 UV 数据,前者缺乏对野生场景的泛化能力,后者受限于 StyleGAN 的域限制,难以处理带妆容等多样人脸;另一方面,合成数据的多步骤流程易导致身份、光照、外观不一致,难以生成逼真连贯的纹理12。

🎯创新点及其具体研究方法:

1️⃣ 提出 FreeUV 框架:无需带标注的或合成的 UV 真值数据,基于预训练的 Stable Diffusion 模型,通过分离训练专注真实外观的网络和结构一致性的网络,在推理时结合二者生成高质量 UV 纹理,显著降低数据成本和复杂性35。

2️⃣ Cross-Assembly 推理策略:训练阶段,外观特征提取网络聚焦野生域实现 UV 到 2D 的逼真映射,结构重建网络依托 3DMM 域完成 2D 到 UV 的结构一致映射;推理时整合两个网络的 UV 专用模块,形成 UV 到 UV 的映射,减少大角度人脸和自遮挡的 UV 展开失真,兼顾真实外观与结构一致性46。

3️⃣ 抗干扰面部细节提取器:基于 CLIP 图像编码器并添加通道注意力层,从有失真或缺陷的 UV 纹理中捕捉面部毛发、皱纹、妆容等精细特征,通过选择性强调关键信息降低噪声影响,增强不同条件下 UV 纹理生成的质量和鲁棒性78。


相关推荐
拉一次撑死狗2 小时前
TensorFlow(1)
人工智能·python·tensorflow
m0_650108242 小时前
【论文精读】Group Collaborative Learning for Co-Salient Object Detection
人工智能·计算机视觉·论文精读·gam·共显著性目标检测·组协同学习·gcm
cyyt2 小时前
深度学习周报(9.22~9.28)
深度学习·attention·量子计算
董厂长2 小时前
SubAgent的“指令漂移 (Instruction Drift)“困境
人工智能·agent·mcp·subagent
weixin_525936332 小时前
2020年美国新冠肺炎疫情数据分析与可视化
hadoop·python·数据挖掘·数据分析·spark·数据可视化
金井PRATHAMA2 小时前
框架系统在自然语言处理深度语义分析中的作用、挑战与未来展望
人工智能·自然语言处理·知识图谱
天涯路s2 小时前
OpenCV基础操作与图像处理
图像处理·opencv·计算机视觉
小李独爱秋2 小时前
【机器学习宝藏】深入解析经典人脸识别数据集:Olivetti Faces
人工智能·python·机器学习·计算机视觉·人脸识别·olivetti
2401_841495643 小时前
【自然语言处理】文本表示知识点梳理与习题总结
人工智能·自然语言处理·词向量·文本表示·独热编码·词-词共现矩阵·静态词嵌入
艾醒3 小时前
大模型面试题剖析:模型微调中冷启动与热启动的概念、阶段与实例解析
深度学习·算法