【EGSR2025】材质+扩散模型+神经网络相关论文整理随笔

MatSwap: Light-aware material transfers in images

介绍任务:输入 一张拍摄图像、示例材质纹理图像(这里跟BRDF无关,通常我们讲到材质一般指的是SVBRDF,但是这里的材质指的只是纹理)、用户为拍摄图像指定的遮罩区域(上图中的红色),输出 一张在遮罩区域替换为示例材质的图像结果。

【埋雷】这里需要留意论文中是否提到跟传统的扩散模型mask加生成有什么区别,例如:图像重绘。

当前任务面临的最大问题是在转移材质的过程中,做到材质、集合、光照的解耦。

从宏观上解决了什么问题?以往工作会用复杂文本提示词、大规模人工标注来进行生成,但是这些方法需要艺术家的专业知识,或3D场景的属性,获取难度比较大。这篇文章的方法只需要通过一个平面材质,就能免去uv映射,来得到可靠的结果。

怎么做的呢?

依赖于一个定制的light和几何感知的扩散模型。具体来说就是对预训练的文生图模型在合成数据集上进行材质迁移的微调。

上图展示了训练和推理的流程图。训练的时候先用blender生成合成数据,包括法线,irradiance等,然后将输入图像、法线、irradiance和mask分别用编码器或下采样压缩并concatenate为扩散模型的输入latent;此外,将条件图像p采用ip-adapter的形式注入扩散模型的交叉注意力模块中,最终迭代训练。而推理过程中则更简单,此时使用一个预训练的法线、irradiance估计网络Φ来根据input直接猜出法线和irradiance,然后联合其他输入注入到扩散模型中得到最终结果。

这个方法有点类似于Siggraph 2024文章RGB2X中的【X→RGB】部分。

相关推荐
wa的一声哭了2 分钟前
Stanford CS336 Lecture3 | Architectures, hyperparameters
人工智能·pytorch·python·深度学习·机器学习·语言模型·自然语言处理
学境思源AcademicIdeas5 分钟前
用ChatGPT修改论文,如何在提升质量的同时降低AI检测风险?
人工智能·chatgpt
LinkTime_Cloud15 分钟前
OpenAI 陷“GPT门”风波,付费用户遭遇模型偷换与性能降级
人工智能·gpt
GoldenSpider.AI18 分钟前
从“氛围编程“到“氛围研究“:OpenAI的GPT-5与未来自动化研究之路
人工智能·gpt-5·vibe coding·氛围编程·mark chen·jakub pachocki
IT_陈寒31 分钟前
SpringBoot实战:这5个隐藏技巧让我开发效率提升200%,90%的人都不知道!
前端·人工智能·后端
x新观点32 分钟前
联想乐享重构智能搜索生态:ThinkPad T14p 2025升级信息首触“企业智能双胞胎”
人工智能
大有数据可视化35 分钟前
机器学习+数字孪生:从诊断到自主决策的跨越
人工智能·机器学习
西岭千秋雪_37 分钟前
Spring AI alibaba Prompt模板&Advisor自定义
java·人工智能·spring·prompt
CV实验室38 分钟前
NeurIPS 2025 | 北大等提出C²Prompt:解耦类内与类间知识,攻克FCL遗忘难题!
人工智能·计算机视觉·prompt·论文·cv
盟接之桥2 小时前
盟接之桥说制造:源头制胜,降本增效:从“盟接之桥”看供应链成本控制的底层逻辑
大数据·网络·人工智能·安全·制造