吴恩达深度学习笔记(二)--神经网络及深度神经网络

构架神经网络的第一步:确定激活函数

神经网络的表现形式及输出:

每一个神经元相当于进行了一次逻辑回归计算,涉及下图右边两步的计算,输入层没有计算。

单个样例:

多个样本:将样本按照列排列方式写入矩阵中

激活函数:

建立神经网络想要确定隐藏层需要使用什么激活函数,以及神经网络的输出单位是什么。

不同激活函数

随机初始化参数:

在神经网络中,所有的权重参数初始化为0,两个隐藏层功能相同,但是参数b并不会影响

为了不同隐藏层具有不同的功能,随机化初始参数(0.01为了避免斜率绝对值小,下降速度慢的问题),避免对称问题(失效问题)

深度神经网络:

各个参数的规格:正确的矩阵维数

为什么使用深层神经网络:

对于人脸识别:

神经网络的第一层试图找出图片的边缘,通过将像素分组,形成边缘的方法,第二层网络可以取消检测边缘,将边缘组合在一起,形成面部的一部分,开始检测面部的不同部位:眼睛。第三层网络将不同部位组合在一起,可以尝试识别和检测不同了类型的面部。

可以将神经网络的浅层看作简单的检测函数:检测边缘,在神经网络的后一层将他们组合在一起,以便可以学习更多等复杂的功能。

对于语音识别,第一层神经网络可以学习到语言发音的一些音调,后面更深层次的网络可以检测到基本的音素,再到单词信息,逐渐加深可以学到短语、句子。

超参数和参数:

参数:期望模型学到的,如w,b

超参数:控制参数的输出,如:学习速率、迭代次数、隐藏层层数、每一层神经元的数目、激活函数,在某种程度上决定了期望学习到的参数的输出结果

目前超参数的确定依赖于不断的试错。

相关推荐
今天只学一颗糖10 小时前
Linux学习笔记--GPIO子系统和PinCtrl子系统
linux·笔记·学习
lingggggaaaa10 小时前
小迪安全v2023学习笔记(一百三十四讲)—— Windows权限提升篇&数据库篇&MySQL&MSSQL&Oracle&自动化项目
java·数据库·windows·笔记·学习·安全·网络安全
可触的未来,发芽的智生11 小时前
触摸未来2025-10-18:生成文字的小宇宙矩阵溯源
人工智能·python·神经网络·程序人生·自然语言处理
武子康11 小时前
AI-调查研究-106-具身智能 机器人学习数据采集工具和手段:传感器、API、遥操作、仿真与真人示教全流程
人工智能·深度学习·机器学习·ai·系统架构·机器人·具身智能
StarPrayers.12 小时前
损失函数(Loss Function)、反向传播(Backward Propagation)和优化器(Optimizer)学习笔记
人工智能·笔记·深度学习·学习
孤廖12 小时前
吃透 C++ 栈和队列:stack/queue/priority_queue 用法 + 模拟 + STL 标准实现对比
java·开发语言·数据结构·c++·人工智能·深度学习·算法
武子康12 小时前
AI-调查研究-107-具身智能 强化学习与机器人训练数据格式解析:从状态-动作对到多模态轨迹标准
人工智能·深度学习·机器学习·ai·系统架构·机器人·具身智能
明月56613 小时前
github开源笔记应用程序项目推荐-Joplin
笔记·开源·joplin·跨平台笔记应用
YuCaiH13 小时前
网络编程的基础知识
linux·笔记·嵌入式·网络通信
AI数据皮皮侠13 小时前
中国博物馆数据
大数据·人工智能·python·深度学习·机器学习