空洞卷积学习笔记

文章目录

    • [1. 扩张卷积的提出](#1. 扩张卷积的提出)
    • [2. 理解的难点](#2. 理解的难点)

本片博客的主题思路来自于这篇文章------如何理解Dilated Convolutions(空洞卷积),但是作者似乎是很久之前写的,文字的排版很混乱,自己来写一个新的。

1. 扩张卷积的提出

  1. Multi-Scale Context Aggregation by Dilated Convolutions
  2. Dilated Residual Networks

这里有原作者推荐的一篇论文笔记,大家有兴趣可以看一看,论文笔记------CVPR 2017 Dilated Residual Networks。

2. 理解的难点

上图是论文 Multi-Scale Context Aggregation by Dilated Convolutions 的原图,我们可以问几个小问题

  • 红点代表什么含义
  • 为什么扩张卷积,图像尺寸是不改变的
  • 图中最外层图像代表什么


本图来自博客 A guide to receptive field arithmetic

上面这张图可以帮助你从直观上更好的理解感受野,这个图来自一篇博客,A guide to receptive field arithmetic for Convolutional Neural Networks,看不懂的话可以看中文翻译版,都很有参考价值。

我们根据感受野的计算公式

l k = l k − 1 + ( ( f k − 1 ) ∗ ∐ i = 1 k − 1 s i ) l_{k}=l_{k-1}+\left(\left(f_{k}-1\right) * \coprod_{i=1}^{k-1} s_{i}\right) lk=lk−1+((fk−1)∗i=1∐k−1si)

其中, l k l_{k} lk 为第 k − 1 k-1 k−1 层的感受野大小, f k f_k fk 是当前层的卷积核大小, s i s_i si 是第 i i i 层的步长。可以推导出空洞卷积的计算公式,本质上就是在卷积和中间添0,扩大了卷积和的大小。

设普通卷积和的大小为 f k f_k fk,则等效的空洞卷积核的大小为 d k d_k dk,有公式

d k = ( f k − 1 ) × ( r a t e − 1 ) + f k d_k=(f_k-1)\times (\mathrm{rate}-1)+f_k dk=(fk−1)×(rate−1)+fk

回到最初的问题

  • 红点代表什么意思?代表的是感受野的中心
  • 空洞卷积得到的特征图大小是不变的

关于特征图大小的计算,我们有如下的公式

n out = ⌊ n in + 2 p − k s ⌋ + 1 n_{\text {out }}=\left\lfloor\frac{n_{\text {in }}+2 p-k}{s}\right\rfloor+1 nout =⌊snin +2p−k⌋+1

其中, n out n_{\text {out }} nout 和 n in n_{\text {in }} nin 分表代表输出和输入的特征图尺度, k k k 代表卷积核大小, p p p 代表填充的尺寸, s s s 代表卷积的步长。

相关推荐
La Pulga6 小时前
【FreeRTOS源码学习笔记】任务延时列表
笔记·mcu·学习·嵌入式·freertos·实时操作系统
楚山之石7 小时前
【JCO】mpMRI 先行替代 TURBT 初始分期:BladderPath 随机试验让 MIBC 患者提前 45 天得到正确治疗
人工智能·学习·mri·医学影像
Peter-OK11 小时前
PostgreSQL学习笔记(入门-进阶-精通说明)
笔记·学习·postgresql
承渊政道11 小时前
Linux网络学习【Reactor反应堆模式】
linux·网络·学习·ubuntu·reactor
橙橙笔记12 小时前
具身智能的学习 - 完成一个机械臂 第1节
python·学习·机械臂·具身智能
成都蜀味缘餐饮技术培训学校13 小时前
手撕烤兔技术培训实战指南,秘制腌料配方比例与调制手法
大数据·经验分享·笔记·其他·微信公众平台
希和202714 小时前
免费AI视频生成工具汇总(国内优先,适合做漫剧、短视频,Obsidian笔记版)
人工智能·笔记·音视频
蒸蒸yyyyzwd15 小时前
秋招学习笔记 day109
笔记·八股
Hhy_110716 小时前
《C++深度解构06》手撕 string —— 从底层内存管理到深浅拷贝彻底吃透
c语言·开发语言·c++·学习·visual studio
山甫aa17 小时前
锁一篇搞定:乐观锁、悲观锁、CAS、数据库锁与分布式锁【从零开始的 Web 后端学习】
java·数据库·分布式·后端·学习·web