前言：学习内容来自Day03-08.激活函数介绍_哔哩哔哩_bilibili
一，激活函数：
给网络注入非线性因素。
Sigmoid/Tanh/Relu/Softmax
二，参数初始化：
最常见三种：
1.全0：nn.init.zeros()
2.kaiming:
1)kaiming正态:nn.kaiming.normal()
2)kaiming随机：nn.kaiming.uniform()
3.xavier:
1)xavier正态：nn.xavier.normal()
2)xavier随机：nn.xavier.uniform()
神经网络的构建：
1.定义类继承（nn.module）
2.使用魔法函数__init__(self)实现初始化
2.1初始化父类super().init()
2.2初始化神经元
3.前向传播
三，激活函数
1.多分类交叉熵损失函数
2.二分类任务损失函数
3.L1loss
问题：0点不可导
4.MSE函数
使用欧氏距离公式，目的是解决L1函数在0点不可导的问题。问题：梯度爆炸
- SmoothL1Loss函数
效果最好，使用分段函数。
四，梯度下降参数
1.epoch:轮数
2.batch:每轮训练多少数据
3.iteration:迭代次数