LLM - 卷积神经网络(CNN)

  1. 卷积神经网络结构:分为输入层,卷积层,池化层,全连接层;

(1)首先进入输入层,对数据数据进行处理,将输入数据向量化处理,最终形成输入矩阵。

(2)接着进入卷积层,根据不同卷积核来对输入数据进行卷积操作,得到特征向量。

(3)然后进入池化层,对特征向量进一步提取,一般是提取局部最大值(max pooling)或局部均值(average pooling)

(4)最后进入全连接层,对前述特征向量进行处理,得到输出值。

  1. 卷积神经网络在NLP上的例子:

(1)X表示输入数据,是一个矩阵,即由多个词向量组成的一个矩阵,如下图。

(2)卷积操作,有一个卷积核(m*m大小的),在输入矩阵进行滑动,每次计算一个卷积结果(结果是标量,即一个特征值),如下图所示,当在卷积窗口滑动完成时,会得到一个特征向量。

(3)池化操作

(4)全连接层线性变换

  1. CNN应用场景及相关论文
  1. CNN优点

(1)擅长提取局部特征。

(2)CNN共享模型参数(卷积核)

(3)CNN可以并行化计算

相关推荐
weixin_446260853 小时前
[特殊字符] 视觉Transformer (ViT) 原理及性能突破:从CNN到大规模自注意力机制的迁移
深度学习·cnn·transformer
小a彤3 小时前
GE 在 CANN 五层架构中的位置
人工智能·深度学习·transformer
碧海银沙音频科技研究院4 小时前
通话AEC与语音识别AEC的软硬回采链路
深度学习·算法·语音识别
放下华子我只抽RuiKe54 小时前
React 从入门到生产(四):自定义 Hook
前端·javascript·人工智能·深度学习·react.js·自然语言处理·前端框架
涛声依旧-底层原理研究所4 小时前
残差连接与层归一化通俗易懂的详解
人工智能·python·神经网络·transformer
AI算法沐枫5 小时前
深度学习python代码处理科研测序数据
数据结构·人工智能·python·深度学习·决策树·机器学习·线性回归
初心未改HD6 小时前
深度学习之Attention注意力机制详解
人工智能·深度学习
code_pgf6 小时前
模态生成器:原理详解与推荐开源项目
人工智能·深度学习·开源
文歌子7 小时前
DeepEarth 深度解析:AI 如何理解地球的时空规律
深度学习