normalizing flows vs 直方图规定化

  • normalizing flows名字的由来

The base density P ( z ) P(z) P(z) is usually defined as a multivariate standard normal (i.e., with

mean zero and identity covariance). Hence, the effect of each subsequent inverse layer is

to gradually move or "flow" the data density toward this normal distribution (figure 16.4).

This gives rise to the name "normalizing flows."

因此,应该翻译为正态化流。

  • 描述

The forward mapping is sometimes termed the generative direction. The base density

is usually chosen to be a standard normal distribution. Hence, the inverse mapping is

termed the normalizing direction since this takes the complex distribution over x x x and

turns it into a normal distribution over z z z .

  • 本质

Normalizing flows is the only model that can compute the exact log-likelihood of a new sample. Generative adversarial networks are not probabilistic, and both variational autoencoders and diffusion models can only return a lower bound on the likelihood.

normalizing flows是分布到分布的映射,本质同直方图规定化,直方图本质是图像灰度的概率分布。

通过构造一个可逆的深度神经网络,并学习参数,然后通过正向映射过程近似概率分布或图像生成。

逆向的过程如同扩散模型正向加噪的过程,从复杂分布映射到简单的多元标准正态分布,异曲同工。

相关推荐
机器鱼22 分钟前
1.2 基于卷积神经网络与SE注意力的轴承故障诊断
深度学习·机器学习·cnn
无难事者若执2 小时前
新手村:逻辑回归-理解03:逻辑回归中的最大似然函数
算法·机器学习·逻辑回归
达柳斯·绍达华·宁2 小时前
自动驾驶04:点云预处理03
人工智能·机器学习·自动驾驶
IT从业者张某某3 小时前
机器学习-04-分类算法-03KNN算法案例
算法·机器学习·分类
补三补四3 小时前
k近邻算法K-Nearest Neighbors(KNN)
人工智能·机器学习
databook4 小时前
线性判别分析(LDA):降维与分类的完美结合
python·机器学习·scikit-learn
硅谷秋水4 小时前
大语言模型智体的综述:方法论、应用和挑战(下)
人工智能·深度学习·机器学习·语言模型·自然语言处理
林泽毅5 小时前
SwanLab Slack通知插件:让AI训练状态同步更及时
深度学习·机器学习·强化学习