吴恩达深度学习笔记(二)--神经网络及深度神经网络

构架神经网络的第一步:确定激活函数

神经网络的表现形式及输出:

每一个神经元相当于进行了一次逻辑回归计算,涉及下图右边两步的计算,输入层没有计算。

单个样例:

多个样本:将样本按照列排列方式写入矩阵中

激活函数:

建立神经网络想要确定隐藏层需要使用什么激活函数,以及神经网络的输出单位是什么。

不同激活函数

随机初始化参数:

在神经网络中,所有的权重参数初始化为0,两个隐藏层功能相同,但是参数b并不会影响

为了不同隐藏层具有不同的功能,随机化初始参数(0.01为了避免斜率绝对值小,下降速度慢的问题),避免对称问题(失效问题)

深度神经网络:

各个参数的规格:正确的矩阵维数

为什么使用深层神经网络:

对于人脸识别:

神经网络的第一层试图找出图片的边缘,通过将像素分组,形成边缘的方法,第二层网络可以取消检测边缘,将边缘组合在一起,形成面部的一部分,开始检测面部的不同部位:眼睛。第三层网络将不同部位组合在一起,可以尝试识别和检测不同了类型的面部。

可以将神经网络的浅层看作简单的检测函数:检测边缘,在神经网络的后一层将他们组合在一起,以便可以学习更多等复杂的功能。

对于语音识别,第一层神经网络可以学习到语言发音的一些音调,后面更深层次的网络可以检测到基本的音素,再到单词信息,逐渐加深可以学到短语、句子。

超参数和参数:

参数:期望模型学到的,如w,b

超参数:控制参数的输出,如:学习速率、迭代次数、隐藏层层数、每一层神经元的数目、激活函数,在某种程度上决定了期望学习到的参数的输出结果

目前超参数的确定依赖于不断的试错。

相关推荐
一只可爱的小猴子15 分钟前
2022李宏毅老师机器学习课程笔记
人工智能·笔记·机器学习
孞㐑¥25 分钟前
C++11介绍
开发语言·c++·经验分享·笔记
使一颗心免于哀伤1 小时前
《重构》笔记摘录 - 9.处理继承关系
笔记
每天都要写算法(努力版)1 小时前
【神经网络与深度学习】训练集与验证集的功能解析与差异探究
人工智能·深度学习·神经网络
再睡一夏就好1 小时前
Linux常见工具如yum、vim、gcc、gdb的基本使用,以及编译过程和动静态链接的区别
linux·服务器·c语言·c++·笔记
俺的图图呢?1 小时前
Django笔记——CSRF
笔记·django·csrf
BB_CC_DD1 小时前
四. 以Annoy算法建树的方式聚类清洗图像数据集,一次建树,无限次聚类搜索,提升聚类搜索效率。(附完整代码)
深度学习·算法·聚类
我的golang之路果然有问题2 小时前
快速了解redis,个人笔记
数据库·经验分享·redis·笔记·学习·缓存·内存
无心水2 小时前
【Java面试笔记:基础】8.对比Vector、ArrayList、LinkedList有何区别?
java·笔记·面试·vector·arraylist·linkedlist
卡皮巴拉爱吃小蛋糕2 小时前
MySQL的MVCC【学习笔记】
数据库·笔记·mysql