Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记

Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport笔记

发现问题

连续正规化流(CNF)是一种有吸引力的生成式建模技术,但在基于模拟的最大似然训练中受到了限制。

解决问题

介绍一种新的条件流匹配(CFM),一种针对CNFs的免模拟训练目标。具有稳定的回归目标,用于扩散模型中的随机流,但享有确定性流模型的有效推断。与扩散模型和CNF目标不要求源分布是高斯分布或需要评估其密度。基于新目标,引入最优运输CFM(0T-CFM),创建了更简单的流,更稳定的训练和导致更快的推理

正规化流技术是在固定的分布和目标分布之间构建一个可逆且高效可微的映射。是一个强大的密度估计器,允许标准正态分布到数据分布的有效转换。CNF在分布之间的可逆映射是由一个神经常微分方程(ODE)指定的,缺点是训练困难,不能很好的扩展到大规模数据集上。

扩散模型也是生成式建模任务上的最新技术,模拟一个简单的密度转换为数据分布的随机微分方程(SDE)来生成新的样本。扩散模型的成功部分归功于简单的回归训练目标,在寻来你过程中不需要模拟SDE。CNF可以使用类似扩散的流匹配(FM)进行训练。

CNF(ODE)与其他生成模型,如扩散模型(SDE), VAE(离散时间归一化流)以及生成对抗网络这些模型相比,主要缺点是推理时间长。流模型需要通过多步生成高质量的样本。

CFM允许训练连续时间的流模型,而不需要通过时间进行积分或反向传播。由于六十有ODE参数化的,可以在推理时使用有效的ODE求解器,从而避免在扩散模型中按照要求求解SDE。CFM比FM更加灵活,因为CFM可以使用任意的源分布和有意义的正则化来训练,而FM必须使用高斯源分布,并且不允许简单的正则化机制。

OT-CFM是CFM的一个变体,以免模拟的方式近似源和目标分布之间的动态OT映射。根据一个最优运输计划抽取源和目标样本来加强CFM,能够将学习问题转化为一个带约束的动态OT优化或分布之间的Schr ̈ odinger桥。

什么是流匹配?

假设给定一个目标流pt和生成它的向量场ut .学习与pt相匹配的流的一种方法是通过对目标向量场的回归进行梯度下降。

相关推荐
hi0_643 分钟前
03 数组 VS 链表
java·数据结构·c++·笔记·算法·链表
Andy杨3 小时前
20250712-1-Kubernetes 监控与日志管理-K8s日志管理与维护_笔记
笔记·容器·kubernetes
撰卢3 小时前
【个人笔记】负载均衡
运维·笔记·负载均衡
栈溢出了4 小时前
MyBatis实现分页查询-苍穹外卖笔记
java·笔记·mybatis
彤银浦4 小时前
Web学习笔记3
前端·笔记·学习·html5
之歆4 小时前
Python-魔术方法-创建、初始化与销毁-hash-bool-可视化-运算符重载-容器和大小-可调用对象-上下文管理-反射-描述器-二分-学习笔记
笔记·python·学习
morningcat20184 小时前
java17 gc笔记
java·jvm·笔记
优乐美香芋味好喝4 小时前
2025年7月11日学习笔记&一周归纳——模式识别与机器学习
笔记·学习·机器学习
张较瘦_5 小时前
[论文阅读] 人工智能 + 软件工程 | AI助力软件可解释性:从用户评论到自动生成需求与解释
论文阅读·人工智能·软件工程
声网6 小时前
对话 AI 陪伴新宠 Tolan 创始人:拒绝「恋爱脑」,「非人」陪伴更受欢迎?丨 Voice Agent 学习笔记
人工智能·笔记·学习