神经网络与深度学习第四章前馈神经网络习题解答

[习题4-1] 对于一个神经元 ,并使用梯度下降优化参数时,如果输入恒大于0,其收敛速度会比零均值化的输入更慢。

首先看一下CSDN的解释:

如果输入x恒大于0,使用sigmoid作为激活函数的神经元的输出值将会处于饱和状态,导致其梯度接近于0,这会使得梯度下降算法的收敛速度变慢。而如果输入经过零均值化处理,可以使得输出值的均值为0,避免了sigmoid函数的非0均值问题,从而减少了梯度消失的风险,提高了梯度下降算法的收敛速度。因此,使用零均值化的输入可以加速神经网络的训练过程。

结合图1理解一下:

图1

说一下我的理解:

首先,神经元对求导后的结果为,此处作sigmod激活函数,我们知道sigmod的激活函数图如下:

可以看出,如果是恒大于0的,其次,若x恒大于0,会导致进入神经元后,经过的输出值接近饱和状态(在0.5-1范围内),而的最大为0.5,说明当x大于0的时候,肯定不是沿着最大的负梯度方向进行下降的,而是以曲折抖动的方式进行下降(结合图1),但是以零均值化的方式,可以最大程度的保证数据沿着最大的负梯度方向进行下降,所以当恒大于0时,收敛速度要慢于零均值化的输入。

再举个形象的例子,比如你要从山顶走到山谷,你直线走下去即为最大负梯度方向,收敛快,但是你要很贪心的曲折的走,虽然在朝着山谷的方向走,但不是最快的方向,你同样可以到达终点,但是你的速度相较于直线走肯定是要慢的,条条大路通罗马,但是不可能全部人都走最快的大路,也有人走蜿蜒曲折的小路。

相关推荐
passer__jw76723 分钟前
【LeetCode】【算法】283. 移动零
数据结构·算法·leetcode
Ocean☾30 分钟前
前端基础-html-注册界面
前端·算法·html
顶呱呱程序38 分钟前
2-143 基于matlab-GUI的脉冲响应不变法实现音频滤波功能
算法·matlab·音视频·matlab-gui·音频滤波·脉冲响应不变法
爱吃生蚝的于勒1 小时前
深入学习指针(5)!!!!!!!!!!!!!!!
c语言·开发语言·数据结构·学习·计算机网络·算法
羊小猪~~1 小时前
数据结构C语言描述2(图文结合)--有头单链表,无头单链表(两种方法),链表反转、有序链表构建、排序等操作,考研可看
c语言·数据结构·c++·考研·算法·链表·visual studio
王哈哈^_^1 小时前
【数据集】【YOLO】【VOC】目标检测数据集,查找数据集,yolo目标检测算法详细实战训练步骤!
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·pyqt
星沁城2 小时前
240. 搜索二维矩阵 II
java·线性代数·算法·leetcode·矩阵
脉牛杂德2 小时前
多项式加法——C语言
数据结构·c++·算法
legend_jz2 小时前
STL--哈希
c++·算法·哈希算法
kingmax542120082 小时前
初三数学,最优解问题
算法