pytorch-卷积神经网络

目录

  • 1、卷积
  • [2. 卷积神经网络](#2. 卷积神经网络)
    • [2.1 卷积层](#2.1 卷积层)
    • [2.2 padding](#2.2 padding)
    • [2.3 多kernel](#2.3 多kernel)
    • [2.4 特征学习](#2.4 特征学习)
  • [3. pytorch实现卷积层](#3. pytorch实现卷积层)
    • [3.1 nn.Conv2d](#3.1 nn.Conv2d)
    • [3.2 F.conv2d](#3.2 F.conv2d)

1、卷积

为了减少网络的复杂度,增加一个滑动的矩阵小窗口,比如minist数据集输入是28x28=784,也就是说除输入层外,其他层的每个节点与上层都有784条权重连线,而增加一个3x3的滑动窗口后,连线就变成了9,这样大大减少了参数量。这里使用了信号中的卷积运算,即对应元素相乘再累加,因此3x3的滑动窗口被称为卷积核,进行的运行叫卷积运算。

上图是爱因斯坦头像,如果使用全连接,那么参数量是 1 0 12 10^{12} 1012,而使用10x10的卷积运算后,参数量降到了100M。

2. 卷积神经网络

2.1 卷积层

使用卷积核进行卷积运算的层称之为卷积层

如下图:使用一个3x3的卷积核,先在x方向上移动,再在y方向上移动,每次移动一格,进行卷积运算,计算出对应元素的值,最后得到新的feature map

2.2 padding

从上边动图发现,经过卷积后,feature map比之前小了,原来5x5变成了3x3,那么怎么保证原大小输出呢?

如下图所示:分别在x和y方向上各增加一行,权值为0,这样再做卷积运算就可以输出原大小了。

Input_channels:比如RGB三个通道

Kernel_channels:几种核,比如blur、sharpen等操作得核

Kernel_size:几×几的核,比如:3x3 5x5

Stride:步长,卷积核每层移动几个,1,2

Padding:0, 1, 1

2.3 多kernel

下图中有两个kernel,k1和k2,input channel是3,因此每个kernel有3个相同的Window与之对应,也就是说input channel与kernel的window数必须一致,multi-k:[16,3,3,3],中的数字分别表示有16个kernel,每个kernel有3个window与input channel对应,window大小是3x3。而下图实际有2个kernel,kernel维度表示为[2,3,3,3]

最后输出feature map是3x3是怎么来的呢?input 每个通道元素与对应window元素相乘累加后得到一个值,再把3个通道的值相加就得到了output的一个值。

2.4 特征学习

下图表示了特征学习的一个过程:conv1提取了低级特征,比如:汽车的颜色;conv2提取了中级别的特征,比如:轮廓;conv3提取了高级别的特征,比如:汽车的灯、轮子,最后是全连接层,输出分类。

3. pytorch实现卷积层

3.1 nn.Conv2d

nn.Conv2d是一个类,实例化为layer,调用layer.forward完成一次前向计算,得到输出out

也可以使用out=layer(x)实际上调用的是__call__函数,与执行.forward不同的时,__call__函数中封装了一些hooks函数,会先执行hooks,然后再执行forward,建议使用这种方法。

3.2 F.conv2d

与nn.Conv2d不同的是F.conv2d是函数方法

相关推荐
子燕若水4 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室5 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿5 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫5 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手5 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记6 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元6 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术6 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端
超龄超能程序猿7 小时前
(三)PS识别:基于噪声分析PS识别的技术实现
图像处理·人工智能·计算机视觉