LLM - 卷积神经网络(CNN)

  1. 卷积神经网络结构:分为输入层,卷积层,池化层,全连接层;

(1)首先进入输入层,对数据数据进行处理,将输入数据向量化处理,最终形成输入矩阵。

(2)接着进入卷积层,根据不同卷积核来对输入数据进行卷积操作,得到特征向量。

(3)然后进入池化层,对特征向量进一步提取,一般是提取局部最大值(max pooling)或局部均值(average pooling)

(4)最后进入全连接层,对前述特征向量进行处理,得到输出值。

  1. 卷积神经网络在NLP上的例子:

(1)X表示输入数据,是一个矩阵,即由多个词向量组成的一个矩阵,如下图。

(2)卷积操作,有一个卷积核(m*m大小的),在输入矩阵进行滑动,每次计算一个卷积结果(结果是标量,即一个特征值),如下图所示,当在卷积窗口滑动完成时,会得到一个特征向量。

(3)池化操作

(4)全连接层线性变换

  1. CNN应用场景及相关论文
  1. CNN优点

(1)擅长提取局部特征。

(2)CNN共享模型参数(卷积核)

(3)CNN可以并行化计算

相关推荐
Narrastory几秒前
Note:强化学习(四)
人工智能·深度学习·强化学习
谷哥的小弟4 分钟前
大模型核心基础知识(01)—大模型的发展历程与技术演进
人工智能·深度学习·机器学习·大模型·智能体
Hello world.Joey7 分钟前
SiamFC概述
人工智能·深度学习·计算机视觉·目标跟踪
数智工坊7 分钟前
Faster R-CNN 全精读:实时目标检测的里程碑之作
网络·人工智能·深度学习·目标检测·r语言·cnn
AI人工智能+7 分钟前
行驶证识别技术融合计算机视觉与自然语言处理,实现机动车证件信息的精准提取
深度学习·计算机视觉·ocr·行驶证识别
xiaotao1319 分钟前
03-深度学习基础:指令微调与RLHF
人工智能·深度学习·大模型·指令微调
大模型最新论文速读22 分钟前
RACER:无需训练,让大模型推理速度翻倍
论文阅读·人工智能·深度学习·机器学习·自然语言处理
金融小师妹1 小时前
AI宏观流动性模型:经济学家洪灏重估黄金周期路径显现,长期上行结构未改
深度学习·逻辑回归·线性回归
老鱼说AI1 小时前
强化学习:策略梯度算法深度精讲
人工智能·深度学习·神经网络·机器学习
小糖学代码1 小时前
LLM系列:2.pytorch入门:5.认识深度学习与 PyTorch
人工智能·pytorch·深度学习