Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise论文阅读

冷扩散:无需噪声的任意图像变换反转

摘要

标准扩散模型通常涉及两个核心步骤:图像降质 (添加高斯噪声)和图像恢复 (去噪操作)。本文发现,扩散模型的生成能力并不强烈依赖于噪声的选择,而是可以通过改变降质过程构建一个更广泛的生成模型家族。即使使用完全确定性 的降质操作(如模糊、遮蔽等),扩散模型的训练和测试规则仍可被推广,从而生成高质量图像。这一发现挑战了学界对扩散模型的传统认知------即依赖于梯度朗之万动力学或变分推断中的噪声机制,同时为更通用的扩散模型(可反转任意图像变换)开辟了道路。

代码开源地址:github.com/arpitbansal297/Cold-Diffusion-Models。


1 引言

扩散模型最近已成为生成建模的强大工具 [Ramesh 等, 2022]。扩散模型有多种变体,但其核心概念均围绕随机噪声的移除;研究者会训练一个图像恢复/去噪网络,该网络接受受高斯噪声污染的图像并输出去噪后的图像。在测试阶段,去噪网络通过交替应用去噪操作和添加高斯噪声的更新规则,将纯高斯噪声转化为逼真图像。当采用正确的更新序列时,能够观察到复杂的生成行为。

扩散模型的起源以及我们对这些模型的理论理解,均高度依赖高斯噪声在训练和生成过程中的作用。扩散模型被理解为基于朗之万动力学(Langevin dynamics)围绕图像密度函数进行的随机游走 [Sohl-Dickstein 等, 2015;Song 和 Ermon, 2019],其中每一步都需要高斯噪声。这一过程从高温(强噪声)状态开始,逐步退火到几乎无噪声的"冷"状态。另一条研究路线则通过变分推断(variational inference)结合高斯先验,推导出去噪网络的损失函数 [Ho 等, 2020;Song 等, 2021a;Nichol 和 Dhariwal, 2021]。

本工作探讨了扩散模型是否必须依赖高斯噪声或任何随机性。我们研究了超越扩散模型原始理论框架的广义扩散模型。不同于局限于高斯噪声的模型,我们考虑基于任意图像变换(如模糊、下采样等)构建的模型。通过简单的 Lp 损失训练恢复网络以反转这些变换。在测试阶段交替应用图像恢复模型和降质操作时,生成行为依然出现,并能够生成逼真图像。

在训练和测试阶段均无需高斯噪声(或任何随机性)的"冷扩散"模型的存在,挑战了当前对扩散模型理论极限的理解,同时为具有全新特性的生成模型开辟了可能性。


相关推荐
K姐研究社14 小时前
通义万相Wan2.5模型实测,可生成音画同步视频
人工智能·aigc·音视频
云起SAAS14 小时前
老年ai模拟恋爱抖音快手微信小程序看广告流量主开源
人工智能·微信小程序·小程序·ai编程·看广告变现轻·老年ai模拟恋爱·ai模拟恋爱
Min;15 小时前
cesium-kit:让 Cesium 开发像写 UI 组件一样简单
javascript·vscode·计算机视觉·3d·几何学·贴图
ModelWhale16 小时前
喜报!和鲸科技获张江国家自主创新示范区专项发展资金支持
大数据·人工智能·科研
飞哥数智坊17 小时前
AI 编程时代,你得学会“狠心”删代码
人工智能·ai编程
stbomei17 小时前
静默期的跃迁:2025 年 AI 技术落地与产业重构路径
人工智能·重构
可触的未来,发芽的智生17 小时前
新奇特:神经网络烘焙坊(下),万能配方的甜蜜奥义
人工智能·python·神经网络·算法·架构
RoboWizard17 小时前
移动固态硬盘无法被电脑识别怎么办?
大数据·人工智能·缓存·电脑·金士顿
zero13_小葵司18 小时前
基于多Agent构建AI驱动的智能化软件开发协作平台
人工智能·aigc·软件工程·团队开发·ai编程
Matlab仿真实验室18 小时前
基于Matlab实现图像栅格化处理
图像处理·计算机视觉·matlab·图像栅格化处理