1. 神经网络基础
目录：
神经网络
损失函数
网络优化方法
正则化方法
案例-价格分类案例
机器学习，深度学习 - -> 都是实现Al一种途径方式；
机器学习：只要数学好，公式等都能推导出来；
深度学习：解释型稍差例如:分层 - -> 6层就是比5层好，至于为啥，我们可能不知道 是实验出来的；
学习目标：
1.知道什么是人工神经网络
2.知道常见的激活函数
3.了解常见的参数初始化方法
4.能够完成神经网络模型的搭建
5.知道神经网络模型参数的计算方法
1.1 如何构建神经网络
1️⃣ 图1：神经网络是由多个神经元组成，构建神经网络就是在构建神经元。图中 Input输入层、Output输出层、Activation Function激活函数、artifivial neuron 神经元、x1,x2...xn 特征，有几个特征，输入层就有几个神经元；一条竖着的是一条 样本；每条样本权重不同，所以会有w1，w2...wn；∑ 加权求和 sum下面是公式，一共有 x个特征，也应该有 x个权重 w，在累加到一起加 b，即线性公式 y = w的转置 * x+ b或 y = w x+ b；即左侧操作：把这条样本的各个特征x 基于权重w 整合到一起算出预测值，做加权求和，线性结构；
右边操作：非线性结构；f有一个激活函数，将下面公式整体即加权求和结果 带入到上面的激活函数中，然后做映射到一个区间，有个非线性输出转化的过程，输出 f(x)即概率；
此过程类似 将特征给到线性回归，有了一个预测值，预测值给到 Sigmoid 激活函数，映射到0, 1之间；
总结：左侧做加权求和，右侧激活函数映射成概率；即输入层的数据做加权求和，通过 SIgmoid激活函数映射前面的加权求和结果；
2️⃣ 图2：Input Layer 输入层、Hidden Layer1隐藏层1、Hidden Layer2隐藏层2、Output Layer输出层；身高 体重 性别... 就业薪资：蓝色的是特征、红色是标签；左侧 x1，x2，x3分别是特征1，特征2，特征3，这是一条 数据；，输入层的神经元与特征有关，样本有几个特征，输入层就有几个神经元，且神经元与特征是一一对应的 ；
同一层神经元之间相互隔离，相邻层神经元相互连接，前层输出 = 后层输入 ，如隐藏层1 相当于有 5个人，每个人（神经元）都会去前面一层拿数据，相当于把前一层所有特征信息获取到当前神经元中（三个臭皮匠，顶个诸葛亮），再做处理，每个神经元都会个前一层的神经元有连接，所以又叫 全神经网络连接，简称 全连接 ；这样隐藏层1 处理完之后，输出再交给下一个隐藏层，下一个隐藏层里也是多个各神经元，他需要前一层的数据，但不是同一个神经元。隐藏层越多，每层的神经元越多，结果越精准 ；但有上限，规律是什么？：前层的神经元可以多一些，后层的神经元可少一些，即神经元的设置从前到后是由多到少的过程；
隐藏层1 可理解为加权求和，将输入层的特征加权求和算出结果给到 隐藏层2激活函数，由它来预测概率到底应该是正例还是反例；所以隐藏层至少应该 2层； 激活函数主要有：Sigmoid，Tenh，ReLu，Softmax：Softmax用于多分类，即输出层如果是多分类 首选Softmax；如果输出层是 两分类(如图中y1、y2两个)，首选 ReLu；隐藏层越靠近越考虑用 Tanh ；根据w1 = w0 - 学习率 * 梯度(损失函数求导)，梯度越大，变化越快：求导即为求梯度：Sigmoid求导后结果是 0.25，Tanh求导后结果是 最大值近似1，ReLu如果值 ≥0则都是1；
3️⃣ 图3：神经元由 加权求和 和激活函数构成 ；每个神经元大概要做四件事 ：加权求和和激活函数，正向传播 有自己的加权求和 和激活函数 ，算完之后有损失，结合反向传播来更新权重，所以反向传播 也会有自己的加权求和 和激活函数 ；激活指 将加权求和作为输入传给 激活函数 来预测概率 ；
