《昇思25天学习打卡营第6天|onereal》

Vision Transformer(ViT)简介

近些年,随着基于自注意(Self-Attention)结构的模型的发展,特别是Transformer模型的提出,极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性,它已经能够训练具有超过100B参数的空前规模的模型。

ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下,依然可以在图像分类任务上达到很好的效果。

模型结构

ViT模型的主体结构是基于Transformer模型的Encoder部分(部分结构顺序有调整,如:Normalization的位置与标准Transformer不同),

以上是今天第6天的学习内容,依然是逐行运行代码,最后生成打卡印迹,不明白功能。先这样跟着走吧。

相关推荐
是小蟹呀^35 分钟前
图像分类里的小样本学习(Few-shot Image Classification)
学习·分类·数据挖掘
●VON43 分钟前
React Native for OpenHarmony:猜数字游戏完整技术实现文档
学习·react native·react.js·游戏·开源鸿蒙·von
民乐团扒谱机1 小时前
【微实验】Zhang-Suen 快速并行细化算法与MATLAB实现
人工智能·学习·算法·计算机视觉·数学建模·matlab
GHL2842710901 小时前
TeamTalk-msg_server学习
运维·服务器·c++·学习
试试勇气1 小时前
Linux学习笔记(十三)--动静态库
笔记·学习
好好学习天天向上~~1 小时前
3_Linux学习总结_基础指令
linux·服务器·学习
AI视觉网奇1 小时前
ue metahuman自动绑定实战
笔记·学习·ue5
tb_first1 小时前
万字超详细苍穹外卖学习笔记3
java·jvm·笔记·学习·spring·tomcat·maven
coldstarry1 小时前
sheng的学习笔记-AI-adaboost(Adaptive Boosting)
人工智能·笔记·学习
liliangcsdn1 小时前
探索对比学习的改进-经典对比学习 vs 分组对比学习
学习