Vision Transformer (ViT)

生成式模型与判别式模型

生成式模型,又称概率模型 ,是指通过学习数据的分布来建立模型P(y|x) ,然后利用该模型来生成新的数据。生成式模型的典型代表是朴素贝叶斯模型 ,该模型通过学习数据的分布来建立概率模型,然后利用该模型来生成新的数据。
判别式模型,又称非概率模型 ,是指通过学习输入和输出之间的映射关系来建立模型y=f(x) ,然后利用该模型来预测新的输出。判别式模型的典型代表是支持向量机模型,该模型通过学习输入和输出之间的映射关系来建立分类模型,然后利用该模型来预测新的分类结果。

  • 常见生成式模型:决策树、朴素贝叶斯、隐马尔可夫模型、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型;
  • 常见判别式模型:感知机、支持向量机、K临近、Adaboost、K均值、潜在语义分析、神经网络;
  • 逻辑回归既可以看做是生成式也可以看做是判别式。

结论:vit在中小型数据集上效果不佳,在大型数据集上进行预训练效果较好。

英文积累

de-facto standard 事实上的标准
in conjunction with 与...一起(协力)
unprecedented 无前例的(崭新的)
scaling 可扩展性
inductive biases 归纳偏置 (相当于先验知识,卷积神经网络中有两个先验知识即假设 ,第一个是locality(局部性):CNN以滑动窗口形式进行卷积,因此假设图片上相邻的区域会有相邻的特征; 另外一个归纳偏置是"平移等变性":translation equivariance,用公式表示为f(g(x))=g(f(x)),可以理解f为卷积操作,g为平移操作,即假设无论先做卷积还是先做平移操作,最后的结果是一样的。卷积核就像一个模板template一样,不论一张图片同样的物体移到哪里,只要是同样的输入进来,遇到同样的卷积核,得到的输出永远是一样的。
used very sparingly 使用非常少
Hybrid Architecture 混合架构 (前面CNN得到的特征图拉平转为embedding输入注意力的encoder)
spatial size 空间大小
interpolation 插值
manually 手动的
Model Variants 模型变体
inversely proportional 成反比的

相关推荐
凯子坚持 c几秒前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20514 分钟前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清31 分钟前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh1 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员1 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物1 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技
云卓SKYDROID1 小时前
科技赋能消防:无人机“挂弹灭火“构筑森林防火墙!
人工智能·科技·无人机·科普·云卓科技
gaoshengdainzi1 小时前
镜片防雾性能测试仪在自动驾驶与无人机领域的创新应用
人工智能·自动驾驶·无人机·镜片防雾性能测试仪
Listennnn2 小时前
优雅的理解神经网络中的“分段线性单元”,解剖前向和反向传播
人工智能·深度学习·神经网络
云卓SKYDROID2 小时前
无人机机体结构设计要点与难点!
人工智能·科技·无人机·科普·云卓科技