【无标题】

生成模型评价指标(图像、视频)

  • KL散度(相对熵)
  • [IS(Inception Score)](#IS(Inception Score))
  • [FID(Fréchet Inception Distance)](#FID(Fréchet Inception Distance))
  • [Perceptual Path Length](#Perceptual Path Length)
  • FVD

KL散度(相对熵)

用于衡量两个概率分布之间的相似度,KL散度值越小,分布越相似。

其中p(x)为真实分布,q(x)为模型预测的分布。

IS(Inception Score)

用于评价生成模型所生成图片的质量与多样性,值越大越好。缺点:只考虑生成样本,真实性判断与预训练Inception v3模型的数据集强相关。

其中x为pg生成的图片。

  • p(y|x) 衡量生成图片的清晰度,熵越小,分布越尖锐,代表图像越清晰。计算方式为把x输入到Inception v3中,得到一个1000维的特征向量y,表示图片属于1000个类别的概率。图片清晰度越高,则x属于某个类别的概率就越高,即y中的某个维度的值会很大,而其他维度的值会很小。

  • p(y) 衡量图片的多样性,计算方式为取N个生成样本,求p(y|x)的均值。结果的熵越大,代表生成的图片左所有类别中的分布越均匀。

  • Dkl表示表示求p(y|x)对于p(y)的KL散度,如果 p(y|x) 和 p(y) 的距离很大,说明前者所个很尖锐的分布,而后者是一个均匀分布,从而说明模型清晰度和多样性都很好。

FID(Fréchet Inception Distance)

直接考虑生成数据和真实数据在feature(使用Inception Net-V3全连接前的2048维向量作为图片的feature)层次的距离,不再额外的借助分类器,以此来衡量生成图片和真实图片的距离,FID值越小說明相似度越高。FID无法反映生成多样性(直接copy训练集的模型FID会很小)。

本质上,FID是衡量两个多元正态分布的距离:

Perceptual Path Length

衡量模型结合不同的训练图片特征的能力,也就是生成器能否很好的把不同图片的特征分离出来,如不同的噪声z分量控制所生成图片的不同区域。

计算方式:给出两个随机噪声 ,为求得两点的感知路径长度PPL,采用微分的思想。把两噪声点插值路径细分成多个小段,求每个小段的长度,再求平均。直观来说,PPL评估利用生成器从一个图片变到另一个图片的距离,越小越好。

简单理解:越相近的输出,其对应的z应该也应该距离越小,如下图的z1和z2生成狗的图片,从z1到z2的变化路径中的z,生成的图片也应该是狗。

FVD

把图像特征提取网络换成视频特征提取网络,其他与FID基本相似

相关推荐
zm-v-159304339862 小时前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
SHIPKING3934 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
伍哥的传说10 小时前
React 各颜色转换方法、颜色值换算工具HEX、RGB/RGBA、HSL/HSLA、HSV、CMYK
深度学习·神经网络·react.js
超龄超能程序猿11 小时前
(三)PS识别:基于噪声分析PS识别的技术实现
图像处理·人工智能·计算机视觉
要努力啊啊啊11 小时前
YOLOv3-SPP Auto-Anchor 聚类调试指南!
人工智能·深度学习·yolo·目标检测·目标跟踪·数据挖掘
**梯度已爆炸**13 小时前
NLP文本预处理
人工智能·深度学习·nlp
汀沿河13 小时前
2 大模型高效参数微调;prompt tunning
人工智能·深度学习·prompt
Chef_Chen13 小时前
从0开始学习计算机视觉--Day07--神经网络
神经网络·学习·计算机视觉
加油吧zkf15 小时前
YOLO目标检测数据集类别:分类与应用
人工智能·计算机视觉·目标跟踪
Blossom.11816 小时前
机器学习在智能制造业中的应用:质量检测与设备故障预测
人工智能·深度学习·神经网络·机器学习·机器人·tensorflow·sklearn