导数的计算
自动微分
梯度更新
构建神经网络
激活函数
神经网络搭建代码
损失函数
分类任务
多交叉熵损失
损失函数
二分类交叉熵损失
回归任务的损失函数
MAE
MSE
Smooth L1
回归任务损失函数总结
模型训练
梯度下降算法
指数加权平均
β一般设置为:0.9，值越大，当前梯度影响越小，指数加权平均影响越大.
梯度下降优化算法Momentum
梯度下降优化算法AdaGrad
自适应学习率
梯度下降优化算法RMSProp
梯度下降优化算法Adam
梯度下降优化算法总结
深度学习模型训练的思路
