LLM - 卷积神经网络(CNN)

  1. 卷积神经网络结构:分为输入层,卷积层,池化层,全连接层;

(1)首先进入输入层,对数据数据进行处理,将输入数据向量化处理,最终形成输入矩阵。

(2)接着进入卷积层,根据不同卷积核来对输入数据进行卷积操作,得到特征向量。

(3)然后进入池化层,对特征向量进一步提取,一般是提取局部最大值(max pooling)或局部均值(average pooling)

(4)最后进入全连接层,对前述特征向量进行处理,得到输出值。

  1. 卷积神经网络在NLP上的例子:

(1)X表示输入数据,是一个矩阵,即由多个词向量组成的一个矩阵,如下图。

(2)卷积操作,有一个卷积核(m*m大小的),在输入矩阵进行滑动,每次计算一个卷积结果(结果是标量,即一个特征值),如下图所示,当在卷积窗口滑动完成时,会得到一个特征向量。

(3)池化操作

(4)全连接层线性变换

  1. CNN应用场景及相关论文
  1. CNN优点

(1)擅长提取局部特征。

(2)CNN共享模型参数(卷积核)

(3)CNN可以并行化计算

相关推荐
袁气满满~_~3 分钟前
深度学习笔记四
人工智能·笔记·深度学习
乌萨奇5374 分钟前
【2025考研复试】深度学习扩展知识:从ViT到多模态,以及简历项目挖掘策略(第11章复盘)
人工智能·深度学习·考研·计算机视觉·nlp·多模态
好的收到1111 小时前
PyTorch深度学习(小土堆)笔记3:小土堆 Dataset 类实战笔记,99% 的新手都踩坑!看完秒懂数据加载底层逻辑!
pytorch·笔记·深度学习
陈天伟教授2 小时前
人工智能应用- 搜索引擎:02. 搜索引擎发展史
人工智能·深度学习·神经网络·游戏·搜索引擎·机器翻译
陈天伟教授2 小时前
人工智能应用- 搜索引擎:01. 互联网时代
人工智能·神经网络·搜索引擎·语言模型·自然语言处理·机器翻译
陈天伟教授2 小时前
人工智能应用- 搜索引擎:03. 网页定位
人工智能·神经网络·机器学习·搜索引擎·dnn
Lun3866buzha2 小时前
内窥镜设备部件检测与识别——基于Mask R-CNN的改进模型训练与实现
开发语言·r语言·cnn
勾股导航2 小时前
灰狼优化算法GWO
人工智能·深度学习·机器学习
盼小辉丶3 小时前
Transformer实战——Transformer跨语言零样本学习
深度学习·transformer·零样本学习
sheyuDemo3 小时前
关于深度学习的d2l库的安装
人工智能·python·深度学习·机器学习·numpy