吴恩达深度学习笔记(二)--神经网络及深度神经网络

构架神经网络的第一步:确定激活函数

神经网络的表现形式及输出:

每一个神经元相当于进行了一次逻辑回归计算,涉及下图右边两步的计算,输入层没有计算。

单个样例:

多个样本:将样本按照列排列方式写入矩阵中

激活函数:

建立神经网络想要确定隐藏层需要使用什么激活函数,以及神经网络的输出单位是什么。

不同激活函数

随机初始化参数:

在神经网络中,所有的权重参数初始化为0,两个隐藏层功能相同,但是参数b并不会影响

为了不同隐藏层具有不同的功能,随机化初始参数(0.01为了避免斜率绝对值小,下降速度慢的问题),避免对称问题(失效问题)

深度神经网络:

各个参数的规格:正确的矩阵维数

为什么使用深层神经网络:

对于人脸识别:

神经网络的第一层试图找出图片的边缘,通过将像素分组,形成边缘的方法,第二层网络可以取消检测边缘,将边缘组合在一起,形成面部的一部分,开始检测面部的不同部位:眼睛。第三层网络将不同部位组合在一起,可以尝试识别和检测不同了类型的面部。

可以将神经网络的浅层看作简单的检测函数:检测边缘,在神经网络的后一层将他们组合在一起,以便可以学习更多等复杂的功能。

对于语音识别,第一层神经网络可以学习到语言发音的一些音调,后面更深层次的网络可以检测到基本的音素,再到单词信息,逐渐加深可以学到短语、句子。

超参数和参数:

参数:期望模型学到的,如w,b

超参数:控制参数的输出,如:学习速率、迭代次数、隐藏层层数、每一层神经元的数目、激活函数,在某种程度上决定了期望学习到的参数的输出结果

目前超参数的确定依赖于不断的试错。

相关推荐
Json_12 分钟前
Vue v-bind指令
前端·vue.js·深度学习
Json_15 分钟前
JS中的冒泡简洁理解
前端·javascript·深度学习
Json_16 分钟前
Vue 自定义指令
前端·vue.js·深度学习
画个逗号给明天"1 小时前
C#从入门到精通(5)
开发语言·笔记·c#
机器鱼1 小时前
1.2 基于卷积神经网络与SE注意力的轴承故障诊断
深度学习·机器学习·cnn
杉之1 小时前
Java中的不可变集合
java·笔记·学习
牙牙要健康2 小时前
【目标检测】【深度学习】【Pytorch版本】YOLOV2模型算法详解
pytorch·深度学习·目标检测
大脑探路者3 小时前
【PyTorch】继承 nn.Module 创建简单神经网络
人工智能·pytorch·神经网络
郭涤生3 小时前
Chapter 5: The Standard Library (C++20)_《C++20Get the details》_notes
开发语言·c++·笔记·c++20