车辆重识别(2021NIPS在图像合成方面,扩散模型打败了gans网络)论文阅读2024/10/01

本文在架构方面的创新:

①增加注意头数量:

使用32⇥32、16⇥16和8⇥8分辨率的注意力,而不是只使用16⇥16

②使用BigGAN残差块

使用Big GAN残差块对激活进行上采样和下采样

③自适应组归一化层

将经过组归一化操作后的时间步和类嵌入到每个残差块

1,那么是如何对生成过程进行引导的?

2,那么具体来说,如何根据当前时刻xt的梯度,来调整xt?



在本文中介绍了两种算法用于分类器指导:

向分类器中输入xt,发现与真实类别匹配概率小,计算对xt的梯度,让xt以一定的包含梯度的步幅进行移动,使得匹配概率增加。其实这里有点像之前卷积神经网络中参数w更新的原理,w也是在梯度方向上移动,以此来使得loss值最小。但是这两种算法不是简单的对xt进行处理,①是对预测的均值μ进行处理,让均值μ在梯度方向上移动。②是对预测的噪声进行处理,让噪声在梯度方向上移动。另外,s可以叫做学习率,主要是控制在梯度方向上移动的步幅,和之前卷积神经网络中的w更新公式中的学习率差不多。

BigGAN残差块是什么意思?




注意力池是什么?


相关推荐
青瓷程序设计7 分钟前
果蔬识别系统【最新版】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积神经网络算法
人工智能·python·深度学习
沫儿笙24 分钟前
镀锌板焊接中库卡机器人是如何省气的
网络·人工智能·机器人
Keep_Trying_Go39 分钟前
论文Leveraging Unlabeled Data for Crowd Counting by Learning to Rank算法详解
人工智能·pytorch·深度学习·算法·人群计数
趣浪吧1 小时前
AI在手机上真没用吗?
人工智能·智能手机·aigc·音视频·媒体
IT考试认证1 小时前
华为人工智能认证 HCIA-AI Solution H13-313 题库
人工智能·华为·题库·hcia-ai·h13-313
AI technophile2 小时前
OpenCV计算机视觉实战(31)——人脸识别详解
人工智能·opencv·计算机视觉
九河云2 小时前
汽车轻量化部件智造:碳纤维成型 AI 调控与强度性能数字孪生验证实践
人工智能·汽车·数字化转型
3DVisionary2 小时前
DIC技术如何重新定义汽车板料成形测试
人工智能·汽车·材料力学性能·dic技术·汽车板料·成形极限图·非接触式测量
5***o5002 小时前
深度学习代码库
人工智能·深度学习
2501_941664962 小时前
AI在创意产业的应用:从艺术到娱乐的数字变革
人工智能