pytorch-卷积神经网络

目录

  • 1、卷积
  • [2. 卷积神经网络](#2. 卷积神经网络)
    • [2.1 卷积层](#2.1 卷积层)
    • [2.2 padding](#2.2 padding)
    • [2.3 多kernel](#2.3 多kernel)
    • [2.4 特征学习](#2.4 特征学习)
  • [3. pytorch实现卷积层](#3. pytorch实现卷积层)
    • [3.1 nn.Conv2d](#3.1 nn.Conv2d)
    • [3.2 F.conv2d](#3.2 F.conv2d)

1、卷积

为了减少网络的复杂度,增加一个滑动的矩阵小窗口,比如minist数据集输入是28x28=784,也就是说除输入层外,其他层的每个节点与上层都有784条权重连线,而增加一个3x3的滑动窗口后,连线就变成了9,这样大大减少了参数量。这里使用了信号中的卷积运算,即对应元素相乘再累加,因此3x3的滑动窗口被称为卷积核,进行的运行叫卷积运算。

上图是爱因斯坦头像,如果使用全连接,那么参数量是 1 0 12 10^{12} 1012,而使用10x10的卷积运算后,参数量降到了100M。

2. 卷积神经网络

2.1 卷积层

使用卷积核进行卷积运算的层称之为卷积层

如下图:使用一个3x3的卷积核,先在x方向上移动,再在y方向上移动,每次移动一格,进行卷积运算,计算出对应元素的值,最后得到新的feature map

2.2 padding

从上边动图发现,经过卷积后,feature map比之前小了,原来5x5变成了3x3,那么怎么保证原大小输出呢?

如下图所示:分别在x和y方向上各增加一行,权值为0,这样再做卷积运算就可以输出原大小了。

Input_channels:比如RGB三个通道

Kernel_channels:几种核,比如blur、sharpen等操作得核

Kernel_size:几×几的核,比如:3x3 5x5

Stride:步长,卷积核每层移动几个,1,2

Padding:0, 1, 1

2.3 多kernel

下图中有两个kernel,k1和k2,input channel是3,因此每个kernel有3个相同的Window与之对应,也就是说input channel与kernel的window数必须一致,multi-k:[16,3,3,3],中的数字分别表示有16个kernel,每个kernel有3个window与input channel对应,window大小是3x3。而下图实际有2个kernel,kernel维度表示为[2,3,3,3]

最后输出feature map是3x3是怎么来的呢?input 每个通道元素与对应window元素相乘累加后得到一个值,再把3个通道的值相加就得到了output的一个值。

2.4 特征学习

下图表示了特征学习的一个过程:conv1提取了低级特征,比如:汽车的颜色;conv2提取了中级别的特征,比如:轮廓;conv3提取了高级别的特征,比如:汽车的灯、轮子,最后是全连接层,输出分类。

3. pytorch实现卷积层

3.1 nn.Conv2d

nn.Conv2d是一个类,实例化为layer,调用layer.forward完成一次前向计算,得到输出out

也可以使用out=layer(x)实际上调用的是__call__函数,与执行.forward不同的时,__call__函数中封装了一些hooks函数,会先执行hooks,然后再执行forward,建议使用这种方法。

3.2 F.conv2d

与nn.Conv2d不同的是F.conv2d是函数方法

相关推荐
九年义务漏网鲨鱼2 小时前
【大模型学习 | MINIGPT-4原理】
人工智能·深度学习·学习·语言模型·多模态
元宇宙时间2 小时前
Playfun即将开启大型Web3线上活动,打造沉浸式GameFi体验生态
人工智能·去中心化·区块链
开发者工具分享2 小时前
文本音频违规识别工具排行榜(12选)
人工智能·音视频
产品经理独孤虾2 小时前
人工智能大模型如何助力电商产品经理打造高效的商品工业属性画像
人工智能·机器学习·ai·大模型·产品经理·商品画像·商品工业属性
老任与码2 小时前
Spring AI Alibaba(1)——基本使用
java·人工智能·后端·springaialibaba
蹦蹦跳跳真可爱5893 小时前
Python----OpenCV(图像増强——高通滤波(索贝尔算子、沙尔算子、拉普拉斯算子),图像浮雕与特效处理)
人工智能·python·opencv·计算机视觉
雷羿 LexChien3 小时前
从 Prompt 管理到人格稳定:探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计(上)
人工智能·python·llm·编辑器·prompt
两棵雪松4 小时前
如何通过向量化技术比较两段文本是否相似?
人工智能
heart000_14 小时前
128K 长文本处理实战:腾讯混元 + 云函数 SCF 构建 PDF 摘要生成器
人工智能·自然语言处理·pdf
敲键盘的小夜猫4 小时前
LLM复杂记忆存储-多会话隔离案例实战
人工智能·python·langchain