生成式模型与判别式模型
生成式模型，又称概率模型 ，是指通过学习数据的分布来建立模型P(y|x) ，然后利用该模型来生成新的数据。生成式模型的典型代表是朴素贝叶斯模型 ，该模型通过学习数据的分布来建立概率模型，然后利用该模型来生成新的数据。
判别式模型，又称非概率模型 ，是指通过学习输入和输出之间的映射关系来建立模型y=f(x) ，然后利用该模型来预测新的输出。判别式模型的典型代表是支持向量机模型，该模型通过学习输入和输出之间的映射关系来建立分类模型，然后利用该模型来预测新的分类结果。
- 常见生成式模型：决策树、朴素贝叶斯、隐马尔可夫模型、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型；
- 常见判别式模型：感知机、支持向量机、K临近、Adaboost、K均值、潜在语义分析、神经网络；
- 逻辑回归既可以看做是生成式也可以看做是判别式。
结论：vit在中小型数据集上效果不佳，在大型数据集上进行预训练效果较好。
英文积累
de-facto standard 事实上的标准
in conjunction with 与...一起（协力）
unprecedented 无前例的（崭新的）
scaling 可扩展性
inductive biases 归纳偏置 （相当于先验知识，卷积神经网络中有两个先验知识即假设 ，第一个是locality（局部性）：CNN以滑动窗口形式进行卷积，因此假设图片上相邻的区域会有相邻的特征； 另外一个归纳偏置是"平移等变性"：translation equivariance，用公式表示为f(g(x))=g(f(x))，可以理解f为卷积操作，g为平移操作，即假设无论先做卷积还是先做平移操作，最后的结果是一样的。卷积核就像一个模板template一样，不论一张图片同样的物体移到哪里，只要是同样的输入进来，遇到同样的卷积核，得到的输出永远是一样的。）
used very sparingly 使用非常少
Hybrid Architecture 混合架构 （前面CNN得到的特征图拉平转为embedding输入注意力的encoder）
spatial size 空间大小
interpolation 插值
manually 手动的
Model Variants 模型变体
inversely proportional 成反比的