扩散模型零样本分类应用笔记

1 Title

Your Diffusion Model is Secretly a Zero-Shot Classifier(Alexander C. Li, Mihir Prabhudesai, Shivam Duggal, Ellis Brown, Deepak Pathak)【ICCV 2023】

2 Conclusion

This paper shows that the density estimates from large-scale text-to-image diffusion models like Stable Diffusion can be leveraged to perform zero-shot classifi-cation without any additional training.

3 Good Sentences

1、Obtaining a diffusion model classifier through Bayes' theorem consists of repeatedly adding noise and computing a Monte Carlo estimate of the expected noise reconstruction losses (also called -prediction loss) for every class. We call this approach Diffusion Classifier.(The theory of this study that use diffusion model to make classification)

2、Discriminative approaches directly learn tomodel the decision boundary of the underlying task, while generative approaches learn to model the distribution of the data and then address the underlying task as a maximum likelihood estimation problem. (The principle of the generate mode that used in discrimination)

3、We split our evaluation into a series of stages, where in each stage we try each remaining ci some number of times and then remove the ones that have the highest average error. This allows us to efficiently eliminate classes that are almost certainly not the final output and allocate more compute to reasonable classes.(The improvement of this study for Efficient Classification)


对于像 Stable Diffusion 这种类型的 diffusion models,主要的步骤有两个,其一是 sampling,其二是 density estimation。而第二点又分为两种,unconditional density estimation 和 conditional density estimation,前者估计,后者估计。

本文认为类似stable diffusion这样的大规模text2img模型所计算出的密度估计,可以被用来进行"零样本分类" (zero-shot classification),而不需要额外的训练。 也就是在大规模Text2Img任务中density estimation 这件事情几乎等价于 zero-shot classification without training,于是作者们将这一分类机制单独提炼出来,形成了 Diffusion Classifier 模型,并展示了这一模型有着很强的 multi-modal reasoning 的能力,它可以从含分类的 diffusion models 中提取出标准的分类器。

如何将diffusion model应用到zero-shot classification,具体流程图如上图所示:

对于一个分类模型,给定输入x,模型输出类别的概率向量c,对于这个diffusion model,分类任务就是求解。具体推导过程请看论文,这里不多赘述。

作者对比同为zero-shot classifier的CLIP,zero-shot的能力以及接近了基于renset50的CLIP。但与openCLIP ViT-H/14还有较大差距

相关推荐
前进的李工3 小时前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
希和20276 小时前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记·单片机·学习
北风toto6 小时前
Spring Boot 常用注解 · 概要笔记
spring boot·笔记·后端
下一站春风里7 小时前
Spring IoC 控制反转 完整技术笔记
java·spring boot·笔记·spring
一只大鸽子19 小时前
游戏开发笔记4-像素画基础 轮廓-直线和曲线
笔记
小杨小杨、努力变强!20 小时前
python学习笔记
笔记·学习
杨逢昌工厂6S管理1 天前
150-杨逢昌一线现场诊断笔记:越管一线越抵触背后的熵增机理与基准化治理
经验分享·笔记·职场和发展·学习方法
Star(up up up)1 天前
Redis Windows 安装教程:使用Windows 的 Redis 压缩包
redis·笔记·学习·程序人生·云原生·学习方法·改行学it
希和20271 天前
江科大 51 单片机课程笔记:DS1302 实时时钟 + LCD1602 可调电子钟(小白逐行讲解)
笔记·单片机·嵌入式硬件
岑梓铭1 天前
《考研408数据结构》第七章(B树 和 B+树)复习笔记
数据结构·笔记·b树·考研·408