卷积神经网络 循环神经网络

卷积神经网络强大之处

多层网络结构能自动学习输入数据的深层特征,不同层次的网络可以学习到不同层次的特征。浅层学习局部特征(物体的颜色,几何形状),深层学习抽象特征(物体属性,轮廓特点,位置信息)

卷积神经网络的结构

输入层、卷积层(提取特征)、下采样层(空间维度下采样)、全连接层、输出层(softmax层,对全连接后的特征向量进行计算,得到分类评分值)

卷积神经网络和人工神经网络的联系

人工神经网络的神经元按照一维进行排列,卷积神经网络每层神经元按照三维排列,每一层有长宽高,长宽代表输入图像矩阵的长度和高度,高代表该层网络的深度

卷积操作

卷积实际是图像处理技术中的滤波操作。不同于滤波操作中滤波器是事先定义好的,卷积神经网络的卷积核内容是通过梯度下降法训练得到的

Padding操作

卷积操作会遇到在图像边界卷积造成信息丢失的问题,Paddin用来解决这一问题

same padding:对图像矩阵进行边界补充(填0值),使得卷积后得到的特征矩阵与输入矩阵大小一致

valid padding:不进行padding操作

卷积神经网络三大核心思想

局部感知、权值共享、下采样技术

局部感知

感知区域实际上是卷积核的空间大小,每个隐层神经元节点只负责连接到图像某个局部区域,大大减少网络中的权值参数

权值共享

假设卷积核A、B有相同的纹理特征,则实际上只要一个卷积核C就可以代替A和B,共i选哪个卷积核C(即共享相同的权值矩阵),减少网络参数

下采样

对图像进行压缩,减少输出的总像素,缩减图像的空间尺寸规模,减少过拟合可能性,减少计算量,进一步提取高维特征

最大池化下采样:选pooling窗口的最大值作为pooling特征

均值池化下采样:取pooling窗口的均值作为pooling特征

网络参数设计规律

输入层矩阵的大小应该可以被2整除多次

卷积核尽量使用小尺寸卷积核(卷积核大导致特征图减小,且难以提取高维特征)

卷积步长不要过大

卷积层中使用same oadding零填充矩阵边界

pooling层一般使用2*2的窗口,步长为2的max pooling操作

全连接层数不宜超过3层。层数越多,训练难度越大,越容易造成过拟合和梯度消散


循环神经网络

循环递归处理历史数据和对历史记忆进行建模,适用于处理时间、空间序列上有强关联的信息。

随着时间变化动态调整自身的网络状态并不断循环传递,具有记忆功能

随着网络规模增大,对序列数据的记忆能力就会逐渐下降。由于循环神经网络模型基本结构过于简单,不能存储长期记忆,当序列信号在网络中多次传递后,可能引起梯度问题,因此提出长短期记忆网络LSTM(Long Short-Term Memory)

相关推荐
青椒大仙KI111 小时前
24/11/24 视觉笔记 滤镜
笔记·深度学习·计算机视觉
使者大牙1 小时前
【LLM学习笔记】第四篇:模型压缩方法——量化、剪枝、蒸馏、分解
人工智能·深度学习·算法·机器学习
卧式纯绿1 小时前
自动驾驶3D目标检测综述(三)
人工智能·python·深度学习·目标检测·3d·cnn·自动驾驶
土豆炒马铃薯。2 小时前
【深度学习】Pytorch 1.x 安装命令
linux·人工智能·pytorch·深度学习·ubuntu·centos
阿_旭2 小时前
【超全】目标检测模型分类对比与综述:单阶段、双阶段、有无锚点、DETR、旋转框
人工智能·深度学习·目标检测·分类
xianghan收藏册3 小时前
基于lora的llama2二次预训练
人工智能·深度学习·机器学习·chatgpt·transformer
2zcode3 小时前
基于YOLOv8深度学习的智慧农业果园果树柑橘类果实目标检测系统(PyQt5界面+数据集+训练代码)
深度学习·yolo·目标检测
Struart_R3 小时前
Epipolar-Free 3D Gaussian Splatting for Generalizable Novel View Synthesis 论文解读
人工智能·深度学习·计算机视觉·3d·transformer·三维重建·新视角生成
土豆炒马铃薯。3 小时前
CUDA,PyTorch,GCC 之间的版本关系
linux·c++·人工智能·pytorch·python·深度学习·opencv
视言4 小时前
大模型时代的具身智能系列专题(十二)
人工智能·深度学习·计算机视觉·机器人·具身智能