LLM - 卷积神经网络(CNN)

  1. 卷积神经网络结构:分为输入层,卷积层,池化层,全连接层;

(1)首先进入输入层,对数据数据进行处理,将输入数据向量化处理,最终形成输入矩阵。

(2)接着进入卷积层,根据不同卷积核来对输入数据进行卷积操作,得到特征向量。

(3)然后进入池化层,对特征向量进一步提取,一般是提取局部最大值(max pooling)或局部均值(average pooling)

(4)最后进入全连接层,对前述特征向量进行处理,得到输出值。

  1. 卷积神经网络在NLP上的例子:

(1)X表示输入数据,是一个矩阵,即由多个词向量组成的一个矩阵,如下图。

(2)卷积操作,有一个卷积核(m*m大小的),在输入矩阵进行滑动,每次计算一个卷积结果(结果是标量,即一个特征值),如下图所示,当在卷积窗口滑动完成时,会得到一个特征向量。

(3)池化操作

(4)全连接层线性变换

  1. CNN应用场景及相关论文
  1. CNN优点

(1)擅长提取局部特征。

(2)CNN共享模型参数(卷积核)

(3)CNN可以并行化计算

相关推荐
行走__Wz2 小时前
【刘二大人】《PyTorch深度学习实践》——PyTorch实现线性回归代码(自用)
pytorch·深度学习·线性回归
一碗白开水一2 小时前
【工具相关】OpenClaw 配置使用飞书:打造智能飞书助手全流程指南(亲测有效,放心享用)
人工智能·深度学习·算法·飞书
童话名剑2 小时前
YOLO v3(学习笔记)
人工智能·深度学习·yolo·目标检测
飞Link3 小时前
梯度下降的优化算法中,动量算法和指数加权平均的区别对比
人工智能·深度学习·算法
泥壳AI4 小时前
[特殊字符] OpenClaw + 飞书集成超详细教程
人工智能·python·深度学习·阿里云·飞书
查无此人byebye4 小时前
【保姆级教程】从零实现模块化Transformer对话生成模型(PyTorch完整代码)
pytorch·深度学习·transformer
yiyu07164 小时前
3分钟搞懂深度学习AI:实操篇:ResNet
人工智能·深度学习
啊巴矲4 小时前
小白从零开始勇闯人工智能:bert自然语言框架(2)
人工智能·深度学习·bert
放下华子我只抽RuiKe54 小时前
AI大模型开发-实战精讲:从零构建 RFM 会员价值模型(进阶挑战版)
人工智能·深度学习·算法·机器学习·数据挖掘·数据分析·聚类
青春不败 177-3266-05205 小时前
最新AI-Python自然科学领域机器学习与深度学习技术——随机森林、XGBoost、CNN、LSTM、Transformer,从数据处理到时空建模等
人工智能·深度学习·机器学习·transformer·自然科学随机森林