吴恩达深度学习笔记(二)--神经网络及深度神经网络

构架神经网络的第一步:确定激活函数

神经网络的表现形式及输出:

每一个神经元相当于进行了一次逻辑回归计算,涉及下图右边两步的计算,输入层没有计算。

单个样例:

多个样本:将样本按照列排列方式写入矩阵中

激活函数:

建立神经网络想要确定隐藏层需要使用什么激活函数,以及神经网络的输出单位是什么。

不同激活函数

随机初始化参数:

在神经网络中,所有的权重参数初始化为0,两个隐藏层功能相同,但是参数b并不会影响

为了不同隐藏层具有不同的功能,随机化初始参数(0.01为了避免斜率绝对值小,下降速度慢的问题),避免对称问题(失效问题)

深度神经网络:

各个参数的规格:正确的矩阵维数

为什么使用深层神经网络:

对于人脸识别:

神经网络的第一层试图找出图片的边缘,通过将像素分组,形成边缘的方法,第二层网络可以取消检测边缘,将边缘组合在一起,形成面部的一部分,开始检测面部的不同部位:眼睛。第三层网络将不同部位组合在一起,可以尝试识别和检测不同了类型的面部。

可以将神经网络的浅层看作简单的检测函数:检测边缘,在神经网络的后一层将他们组合在一起,以便可以学习更多等复杂的功能。

对于语音识别,第一层神经网络可以学习到语言发音的一些音调,后面更深层次的网络可以检测到基本的音素,再到单词信息,逐渐加深可以学到短语、句子。

超参数和参数:

参数:期望模型学到的,如w,b

超参数:控制参数的输出,如:学习速率、迭代次数、隐藏层层数、每一层神经元的数目、激活函数,在某种程度上决定了期望学习到的参数的输出结果

目前超参数的确定依赖于不断的试错。

相关推荐
一条破秋裤8 小时前
【1115】【多线程】【笔记】
前端·chrome·笔记
神明不懂浪漫8 小时前
【第八章】多线程(一)
java·开发语言·经验分享·笔记
高洁019 小时前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
星恒随风10 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
蒸蒸yyyyzwd10 小时前
秋招操作系统错题本
笔记·八股
星恒随风10 小时前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql
山楂树の11 小时前
Java 泛型:泛型类、泛型方法、泛型接口与通配符
java·开发语言·笔记
努力写代码的熊大14 小时前
Linux 个人复盘博客 · 第六篇 Linux 进程间五种通信:匿名管道、命名管道、共享内存、消息队列与信号量
linux·经验分享·笔记
蒸蒸yyyyzwd14 小时前
深搜广搜学习笔记
笔记·学习
小七在进步14 小时前
string的实现(3)
开发语言·c++·笔记·visual studio