吴恩达深度学习笔记(二)--神经网络及深度神经网络

构架神经网络的第一步:确定激活函数

神经网络的表现形式及输出:

每一个神经元相当于进行了一次逻辑回归计算,涉及下图右边两步的计算,输入层没有计算。

单个样例:

多个样本:将样本按照列排列方式写入矩阵中

激活函数:

建立神经网络想要确定隐藏层需要使用什么激活函数,以及神经网络的输出单位是什么。

不同激活函数

随机初始化参数:

在神经网络中,所有的权重参数初始化为0,两个隐藏层功能相同,但是参数b并不会影响

为了不同隐藏层具有不同的功能,随机化初始参数(0.01为了避免斜率绝对值小,下降速度慢的问题),避免对称问题(失效问题)

深度神经网络:

各个参数的规格:正确的矩阵维数

为什么使用深层神经网络:

对于人脸识别:

神经网络的第一层试图找出图片的边缘,通过将像素分组,形成边缘的方法,第二层网络可以取消检测边缘,将边缘组合在一起,形成面部的一部分,开始检测面部的不同部位:眼睛。第三层网络将不同部位组合在一起,可以尝试识别和检测不同了类型的面部。

可以将神经网络的浅层看作简单的检测函数:检测边缘,在神经网络的后一层将他们组合在一起,以便可以学习更多等复杂的功能。

对于语音识别,第一层神经网络可以学习到语言发音的一些音调,后面更深层次的网络可以检测到基本的音素,再到单词信息,逐渐加深可以学到短语、句子。

超参数和参数:

参数:期望模型学到的,如w,b

超参数:控制参数的输出,如:学习速率、迭代次数、隐藏层层数、每一层神经元的数目、激活函数,在某种程度上决定了期望学习到的参数的输出结果

目前超参数的确定依赖于不断的试错。

相关推荐
CoovallyAIHub5 小时前
港大&字节重磅发布DanceGRPO:突破视觉生成RLHF瓶颈,多项任务性能提升超180%!
深度学习·算法·计算机视觉
使一颗心免于哀伤6 小时前
《设计模式之禅》笔记摘录 - 21.状态模式
笔记·设计模式
CoovallyAIHub6 小时前
英伟达ViPE重磅发布!解决3D感知难题,SLAM+深度学习完美融合(附带数据集下载地址)
深度学习·算法·计算机视觉
惯导马工1 天前
【论文导读】ORB-SLAM3:An Accurate Open-Source Library for Visual, Visual-Inertial and
深度学习·算法
_落纸2 天前
三大基础无源电子元件——电阻(R)、电感(L)、电容(C)
笔记
隐语SecretFlow2 天前
国人自研开源隐私计算框架SecretFlow,深度拆解框架及使用【开发者必看】
深度学习
Alice-YUE2 天前
【CSS学习笔记3】css特性
前端·css·笔记·html
2303_Alpha2 天前
SpringBoot
笔记·学习
Billy_Zuo2 天前
人工智能深度学习——卷积神经网络(CNN)
人工智能·深度学习·cnn
羊羊小栈2 天前
基于「YOLO目标检测 + 多模态AI分析」的遥感影像目标检测分析系统(vue+flask+数据集+模型训练)
人工智能·深度学习·yolo·目标检测·毕业设计·大作业