车辆重识别(2021NIPS在图像合成方面,扩散模型打败了gans网络)论文阅读2024/10/01

本文在架构方面的创新:

①增加注意头数量:

使用32⇥32、16⇥16和8⇥8分辨率的注意力,而不是只使用16⇥16

②使用BigGAN残差块

使用Big GAN残差块对激活进行上采样和下采样

③自适应组归一化层

将经过组归一化操作后的时间步和类嵌入到每个残差块

1,那么是如何对生成过程进行引导的?

2,那么具体来说,如何根据当前时刻xt的梯度,来调整xt?



在本文中介绍了两种算法用于分类器指导:

向分类器中输入xt,发现与真实类别匹配概率小,计算对xt的梯度,让xt以一定的包含梯度的步幅进行移动,使得匹配概率增加。其实这里有点像之前卷积神经网络中参数w更新的原理,w也是在梯度方向上移动,以此来使得loss值最小。但是这两种算法不是简单的对xt进行处理,①是对预测的均值μ进行处理,让均值μ在梯度方向上移动。②是对预测的噪声进行处理,让噪声在梯度方向上移动。另外,s可以叫做学习率,主要是控制在梯度方向上移动的步幅,和之前卷积神经网络中的w更新公式中的学习率差不多。

BigGAN残差块是什么意思?




注意力池是什么?


相关推荐
qinyia几秒前
如何安全清理以 amis 开头的容器与镜像
运维·数据库·人工智能·mysql·ssh
AI街潜水的八角2 分钟前
基于keras框架的Vgg深度学习神经网络衣服多标签分类识别系统
深度学习·神经网络·keras
咕噜企业分发小米4 分钟前
阿里云和华为云在AI教育领域的生态重构具体会带来哪些影响?
人工智能·阿里云·华为云
Coder_Boy_6 分钟前
基于SpringAI的智能推荐影视平台设计和业务思路
大数据·人工智能·spring boot·spring cloud·langchain
AI生成未来7 分钟前
复刻“黑客帝国”子弹时间!SpaceTimePilot:视频变可操控4D游戏,倒放/变速/运镜随你掌控
人工智能·aigc·扩散模型·视频生成
福客AI智能客服7 分钟前
客服系统AI:数字文创电商的权属安全保障与体验升级核心
大数据·人工智能
melonbo15 分钟前
自动驾驶场景下的图像预处理
人工智能·机器学习·自动驾驶
All The Way North-16 分钟前
池化层全解析:MaxPool vs AvgPool、参数详解、避坑指南与PyTorch实现
pytorch·深度学习·cnn·pooling·池化层·maxpool2d
智慧化智能化数字化方案22 分钟前
【精品资料鉴赏】财务数智化智能化建设学习
人工智能·学习·财务数字化·财务数智化·财务一体化·财务共享平台·财务成熟度评估模型
柠檬071123 分钟前
opencv 未知函数记录-edgePreservingFilter
人工智能·opencv·计算机视觉