车辆重识别(改进的去噪扩散概率模型)论文阅读2024/9/29

所谓改进的去噪扩散概率模型主要改进在哪些方面:

①对数似然值的改进

通过对噪声的那个方差和T进行调参,来实现改进。

②学习

这个参数也就是后验概率的方差。通过数据分析,发现在T非常大的情况下对样本质量几乎没有影响,也就是说随着我们增加更多的扩散步数,μ比更有影响力。但是通过分析发现,扩散过程中前几步对loss值贡献最大,那么我们可以对调整。通过实验发现,将的值确定在噪声方差和后验概率方差之间效果最好。顺便,我们将loss公式改为。将确定为一个较小的值,保证仍然是主要影响源。

③改善噪声时间表

我们发现之前的噪声时间表对于高分辨率的图像效果比较好,但是对于分辨率为64×64和32×32的图像效果不好。这项操作改变了每一时间步所加的噪声,进而改变了后续数据的分布。我们可以暂且认为控制了每一时间步所加入的噪声量,使得原本图像更慢地变为纯噪声数据,如果像之前的线性时间表,可能会出现图像已经变成纯噪声数据了,但是时间步还没到T,导致不断向图像加噪声,使得难以训练。

④降低梯度噪声

通过分析发现loss值是非常难优化的,因为梯度很嘈杂,也就是说梯度受到输入数据等其他因素影响非常大。这时候我们采取的方法是,把原来的loss值分解为各个时间步的loss值,对每个时间步的loss值进行优化,最后赋予权重,加起来求期望。如下图所示:

⑤提高采样速度

现有的采样技术使得训练非常耗时,我们采用重要性采样,使得不用跟随时间步一步一步采样,只有前一步采样完后一步才能采样。可以随意选取时间步序列,对任一时间步采样。

相关推荐
AC赳赳老秦3 分钟前
代码生成超越 GPT-4:DeepSeek-V4 编程任务实战与 2026 开发者效率提升指南
数据库·数据仓库·人工智能·科技·rabbitmq·memcache·deepseek
液态不合群6 分钟前
推荐算法中的位置消偏,如何解决?
人工智能·机器学习·推荐算法
饭饭大王66610 分钟前
当 AI 系统开始“自省”——在 `ops-transformer` 中嵌入元认知能力
人工智能·深度学习·transformer
ujainu10 分钟前
CANN仓库中的AIGC可移植性工程:昇腾AI软件栈如何实现“一次开发,多端部署”的跨生态兼容
人工智能·aigc
初恋叫萱萱11 分钟前
CANN 生态实战指南:从零构建一个高性能边缘 AI 应用的完整流程
人工智能
Lethehong14 分钟前
CANN ops-nn仓库深度解读:AIGC时代的神经网络算子优化实践
人工智能·神经网络·aigc
开开心心就好16 分钟前
AI人声伴奏分离工具,离线提取伴奏K歌用
java·linux·开发语言·网络·人工智能·电脑·blender
TechWJ16 分钟前
CANN ops-nn神经网络算子库技术剖析:NPU加速的基石
人工智能·深度学习·神经网络·cann·ops-nn
凌杰17 分钟前
AI 学习笔记:LLM 的部署与测试
人工智能
心疼你的一切17 分钟前
拆解 CANN 仓库:实现 AIGC 文本生成昇腾端部署
数据仓库·深度学习·aigc·cann