Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记

Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport笔记

发现问题

连续正规化流(CNF)是一种有吸引力的生成式建模技术,但在基于模拟的最大似然训练中受到了限制。

解决问题

介绍一种新的条件流匹配(CFM),一种针对CNFs的免模拟训练目标。具有稳定的回归目标,用于扩散模型中的随机流,但享有确定性流模型的有效推断。与扩散模型和CNF目标不要求源分布是高斯分布或需要评估其密度。基于新目标,引入最优运输CFM(0T-CFM),创建了更简单的流,更稳定的训练和导致更快的推理

正规化流技术是在固定的分布和目标分布之间构建一个可逆且高效可微的映射。是一个强大的密度估计器,允许标准正态分布到数据分布的有效转换。CNF在分布之间的可逆映射是由一个神经常微分方程(ODE)指定的,缺点是训练困难,不能很好的扩展到大规模数据集上。

扩散模型也是生成式建模任务上的最新技术,模拟一个简单的密度转换为数据分布的随机微分方程(SDE)来生成新的样本。扩散模型的成功部分归功于简单的回归训练目标,在寻来你过程中不需要模拟SDE。CNF可以使用类似扩散的流匹配(FM)进行训练。

CNF(ODE)与其他生成模型,如扩散模型(SDE), VAE(离散时间归一化流)以及生成对抗网络这些模型相比,主要缺点是推理时间长。流模型需要通过多步生成高质量的样本。

CFM允许训练连续时间的流模型,而不需要通过时间进行积分或反向传播。由于六十有ODE参数化的,可以在推理时使用有效的ODE求解器,从而避免在扩散模型中按照要求求解SDE。CFM比FM更加灵活,因为CFM可以使用任意的源分布和有意义的正则化来训练,而FM必须使用高斯源分布,并且不允许简单的正则化机制。

OT-CFM是CFM的一个变体,以免模拟的方式近似源和目标分布之间的动态OT映射。根据一个最优运输计划抽取源和目标样本来加强CFM,能够将学习问题转化为一个带约束的动态OT优化或分布之间的Schr ̈ odinger桥。

什么是流匹配?

假设给定一个目标流pt和生成它的向量场ut .学习与pt相匹配的流的一种方法是通过对目标向量场的回归进行梯度下降。

相关推荐
使一颗心免于哀伤20 小时前
《设计模式之禅》笔记摘录 - 21.状态模式
笔记·设计模式
_落纸3 天前
三大基础无源电子元件——电阻(R)、电感(L)、电容(C)
笔记
Alice-YUE3 天前
【CSS学习笔记3】css特性
前端·css·笔记·html
2303_Alpha3 天前
SpringBoot
笔记·学习
Hello_Embed3 天前
STM32HAL 快速入门(二十):UART 中断改进 —— 环形缓冲区解决数据丢失
笔记·stm32·单片机·学习·嵌入式软件
咸甜适中3 天前
rust语言 (1.88) 学习笔记:客户端和服务器端同在一个项目中
笔记·学习·rust
Grassto3 天前
RAG 从入门到放弃?丐版 demo 实战笔记(go+python)
笔记
Magnetic_h3 天前
【iOS】设计模式复习
笔记·学习·ios·设计模式·objective-c·cocoa
Chandler_Song3 天前
【读书笔记】《有限与无限的游戏》
论文阅读
周周记笔记3 天前
学习笔记:第一个Python程序
笔记·学习