LLM - 卷积神经网络(CNN)

  1. 卷积神经网络结构:分为输入层,卷积层,池化层,全连接层;

(1)首先进入输入层,对数据数据进行处理,将输入数据向量化处理,最终形成输入矩阵。

(2)接着进入卷积层,根据不同卷积核来对输入数据进行卷积操作,得到特征向量。

(3)然后进入池化层,对特征向量进一步提取,一般是提取局部最大值(max pooling)或局部均值(average pooling)

(4)最后进入全连接层,对前述特征向量进行处理,得到输出值。

  1. 卷积神经网络在NLP上的例子:

(1)X表示输入数据,是一个矩阵,即由多个词向量组成的一个矩阵,如下图。

(2)卷积操作,有一个卷积核(m*m大小的),在输入矩阵进行滑动,每次计算一个卷积结果(结果是标量,即一个特征值),如下图所示,当在卷积窗口滑动完成时,会得到一个特征向量。

(3)池化操作

(4)全连接层线性变换

  1. CNN应用场景及相关论文
  1. CNN优点

(1)擅长提取局部特征。

(2)CNN共享模型参数(卷积核)

(3)CNN可以并行化计算

相关推荐
机器学习之心8 分钟前
GA-Transformer模型回归+SHAP分析+新数据预测+多输出!深度学习可解释分析(附MATLAB代码)
深度学习·回归·transformer
小鱼~~11 分钟前
SGD简介
深度学习
隔壁大炮39 分钟前
10.PyTorch_元素类型转换
人工智能·pytorch·深度学习·算法
nancy_princess1 小时前
Transformer
人工智能·深度学习·transformer
ydmy2 小时前
Embedding层(个人理解)
python·深度学习·embedding
其实防守也摸鱼2 小时前
计算机组成原理--5.输入/输出(I/O)系统
服务器·笔记·深度学习·计算机网络·知识图谱·工具·计算机组成原理
B站_计算机毕业设计之家2 小时前
计算机毕业设计:Python股票投资辅助决策系统 django框架 request爬虫 协同过滤算法 数据分析 可视化 大数据 大模型(建议收藏)✅
爬虫·python·深度学习·算法·django·flask·课程设计
workflower2 小时前
机器人应用-高空立面清洁
人工智能·深度学习·设计模式·机器人·软件工程·软件构建
ACCELERATOR_LLC2 小时前
【DataWhale组队学习】DIY-LLM Task4 GPU和GPU相关的优化
人工智能·深度学习·大模型·transformer·gpu
7yewh3 小时前
针对灵巧手机械结构的探究
网络·人工智能·单片机·深度学习·嵌入式