学习视频**：第4章-决策树_哔哩哔哩_bilibili
西瓜书对应章节： 第五章 5.1；5.2；5.3
文章目录
- [MP 神经元](#MP 神经元)
-
- [- 感知机模型 （分类模型）](#- 感知机模型 （分类模型）)
-
-
- [-- 损失函数定义](#-- 损失函数定义)
-
- [--- 感知机学习算法 - 随机梯度下降法](#--- 感知机学习算法 - 随机梯度下降法)
-
- [- 神经网络需要解决的问题](#- 神经网络需要解决的问题)
- [- 误差逆传播算法](#- 误差逆传播算法)
MP 神经元
接收n个收入，并给各个输入赋予计算加权和，并且和自身特有的阈值进行比较（作减法），最后经过处理得到输出。
- 单个MP神经元：感知机 （sgn 感知函数） ； 对数几率回归 （sigmoid）作为激活函数
- 多个MP神经元： 神经网络
- 感知机模型 （分类模型）
从几何的角度看，感知机的作用是 给定一个数据集D，求得对数据集中样本进行二分类的超平面。
- 其超平面方程不唯一
- w 与超平面垂直
- w 和 b 确定唯一的超平面
- w 指向正的超平面
- 恒成立公式：
-- 损失函数定义
特点：
- 永远是非负的
- 没有误分类点，损失函数为0
- 误分类点越少，离超平面越近，损失函数值越小
将其中的 − Θ -\Theta −Θ 看作一定值的变量，写作 w T x i w^T x_i wTxi 的形式作为第 n+1 位，可将上式简化为
--- 感知机学习算法 - 随机梯度下降法
- 神经网络需要解决的问题
- 面对一个具体场景，神经网络该做多深？多宽？
- 面对一个具体场景，神经网络的结构该如何设计才最合理？
- 面对一个具体场景，神经网络的输出结果该如何解释？
-
原则上， 神经网络能够以 任意精度 逼近 任意复杂度 的 连续 函数。
-
神经网络能够自己比较好的处理特征的问题
- 误差逆传播算法
BP算法 基于随机梯度下降的参数更新算法
- 随机梯度下降 不能保证一定走到 全局最小点 ， 大部分情况下走到的是 局部最小点。