Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记

Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport笔记

发现问题

连续正规化流(CNF)是一种有吸引力的生成式建模技术,但在基于模拟的最大似然训练中受到了限制。

解决问题

介绍一种新的条件流匹配(CFM),一种针对CNFs的免模拟训练目标。具有稳定的回归目标,用于扩散模型中的随机流,但享有确定性流模型的有效推断。与扩散模型和CNF目标不要求源分布是高斯分布或需要评估其密度。基于新目标,引入最优运输CFM(0T-CFM),创建了更简单的流,更稳定的训练和导致更快的推理

正规化流技术是在固定的分布和目标分布之间构建一个可逆且高效可微的映射。是一个强大的密度估计器,允许标准正态分布到数据分布的有效转换。CNF在分布之间的可逆映射是由一个神经常微分方程(ODE)指定的,缺点是训练困难,不能很好的扩展到大规模数据集上。

扩散模型也是生成式建模任务上的最新技术,模拟一个简单的密度转换为数据分布的随机微分方程(SDE)来生成新的样本。扩散模型的成功部分归功于简单的回归训练目标,在寻来你过程中不需要模拟SDE。CNF可以使用类似扩散的流匹配(FM)进行训练。

CNF(ODE)与其他生成模型,如扩散模型(SDE), VAE(离散时间归一化流)以及生成对抗网络这些模型相比,主要缺点是推理时间长。流模型需要通过多步生成高质量的样本。

CFM允许训练连续时间的流模型,而不需要通过时间进行积分或反向传播。由于六十有ODE参数化的,可以在推理时使用有效的ODE求解器,从而避免在扩散模型中按照要求求解SDE。CFM比FM更加灵活,因为CFM可以使用任意的源分布和有意义的正则化来训练,而FM必须使用高斯源分布,并且不允许简单的正则化机制。

OT-CFM是CFM的一个变体,以免模拟的方式近似源和目标分布之间的动态OT映射。根据一个最优运输计划抽取源和目标样本来加强CFM,能够将学习问题转化为一个带约束的动态OT优化或分布之间的Schr ̈ odinger桥。

什么是流匹配?

假设给定一个目标流pt和生成它的向量场ut .学习与pt相匹配的流的一种方法是通过对目标向量场的回归进行梯度下降。

相关推荐
QT 小鲜肉37 分钟前
【QT随笔】结合应用案例一文完美概括QT中的队列(Queue)
c++·笔记·qt·学习方法·ai编程
optimistic_chen2 小时前
【Java EE进阶 --- SpringBoot】Spring DI详解
spring boot·笔记·后端·spring·java-ee·mvc·di
清木!3 小时前
数据仓库详解
笔记
张较瘦_7 小时前
[论文阅读] 人工智能 + 软件工程 | 大模型破局跨平台测试!LLMRR让iOS/安卓/鸿蒙脚本无缝迁移
论文阅读·人工智能·ios
大筒木老辈子8 小时前
Linux笔记---协议定制与序列化/反序列化
网络·笔记
草莓熊Lotso8 小时前
【C++】递归与迭代:两种编程范式的对比与实践
c语言·开发语言·c++·经验分享·笔记·其他
我爱挣钱我也要早睡!11 小时前
Java 复习笔记
java·开发语言·笔记
汇能感知16 小时前
摄像头模块在运动相机中的特殊应用
经验分享·笔记·科技
阿巴Jun16 小时前
【数学】线性代数知识点总结
笔记·线性代数·矩阵
茯苓gao16 小时前
STM32G4 速度环开环,电流环闭环 IF模式建模
笔记·stm32·单片机·嵌入式硬件·学习