四．损失函数和优化器
4.1 均值初始化
为减轻梯度消失和梯度爆炸，选择合适的权重初值。
十种初始化方法
Initialization Methods
-
Xavie r均匀分布
-
Xavie r正态分布
-
Kaiming正态分布
-
均匀分布
-
正态分布
-
常数分布
-
正交矩阵初始化
-
单位矩阵初始化
-
稀疏矩阵初始化
4.2 损失函数
1、nn.CrossEntropyLoss
nn.CrossEntropyLoss(weight=None,
size_average=None,
ignore_index=-100,
reduce=None,
reduction='mean'')
功能： nn.LogSoftmax ()与nn.NLLLoss ()结合，进行
交叉熵计算
主要参数：
• w eigh t：各类别的loss设置权值
•
ignore _ind e x：忽略某个类别
•
redu c tion ：计算模式，可为none/sum /m e an
none- 逐个元素计算
sum- 所有元素求和，返回标量
2、 nn.NLLLoss
功能：实现负对数似然函数中的负号功能
主要参数：
• weight：各类别的loss设置权值
• ignore_index：忽略某个类别
•reduction：计算模式，可为none/sum /m e an
none-逐个元素计算
nn.NLLLoss(weight=None,
size_average=None,
ignore_index=-100,
reduce=None,
reduction='mean')sum- 所有元素求和，返回标量
m 
e an-加权平均，返回标量
3、 nn.BCELoss
nn.BCELoss(weight=None,
size_average=None,
reduce=None,
reduction='mean')
功能：二分类交叉熵
注意事项：输入值取值在0,1
主要参数：
• weight：各类别的loss设置权值
• ignore_index：忽略某个类别
• reduction：计算模式，可为none/sum /m e an
none-逐个元素计算
4、 nn.BCEWithLogitsLoss
nn.BCEWithLogitsLoss(weight=None,
size_average=None,
reduce=None, reduction='mean',
pos_weight=None)
功能：结合Sigmoid与二分类交叉熵
注意事项：网络最后不加sigmoid函数
主要参数：
• pos _weight ：正样本的权值
• weight：各类别的loss设置权值
•ignore_index：忽略某个类别
•reduction ：计算模式，可为none/sum /mean
mean-加权平均，返回标量e aum 
-
nn.L1Loss
-
nn.MSELoss
-
nn.SmoothL1Loss
-
nn.PoissonNLLLoss
-
nn.KLDivLoss
-
nn.MarginRankingLoss
-
nn.MultiLabelMarginLoss
-
nn.SoftMarginLoss
-
nn.MultiLabelSoftMarginLoss
-
nn.MultiMarginLoss
-
nn.TripletMarginLoss
-
nn.HingeEmbeddingLoss
-
nn.CosineEmbeddingLoss
-
nn.CTCLoss -所有元素求和，返回标量
4.3优化器 Optimizer
pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签
导数：函数在指定坐标轴上的变化率
方向导数：指定方向上的变化率
梯度：一个向量，方向为方向导数取得最大值的方向
基class Optimizer(object):
def init(self, params, defaults):
self.defaults = defaults
self.state = defaultdict(dict)
self.param_groups = \[\]
param_groups = [{'params':
param_groups}]本属性
• defaults：优化器超参数
• state：参数的缓存，如mom en tum的缓存
• params_groups：管理的参数组
• _step_count：记录更新次数，学习率调整中使用
基本方法
• 1.zero_grad()：清空所管理参数的梯度
pytorch特性：张量梯度不自动清零
class Optimizer(object):
def zero_grad(self):
for group in self.param_groups:
for p in group'params':
if p.grad is not None:
p.grad.detach_()
p.grad.zero_()
-
step()：执行一步更新
-
add_param_group()：添加参数组
class Optimizer(object):
def add_param_group(self, param_group):
for group in self.param_groups:
param_set.update(set(group'params'))
self.param_groups.append(param_group)
4.state_dict()：获取优化器当前状态信息字典
• 5.load_state_dict() ：加载状态信息字典
class Optimizer(object):
def state_dict(self):
return {
'state': packed_state,
'param_groups': param_groups,
}
def load_state_dict(self, state_dict):
学习率
Learning Rate
梯度下降:
𝒘𝒊+𝟏 = 𝒘𝒊 − 𝒈(𝒘𝒊 )
𝒘𝒊+𝟏 = 𝒘𝒊 − LR * 𝒈(𝒘𝒊)
学习率（learning rate）控制更新的步伐
Momentum（动量，冲量）：
结合当前梯度与上一次更新信息，用于当前更新
梯度下降：
𝒘𝒊+𝟏 = 𝒘𝒊 − 𝒍𝒓 ∗ 𝒈(𝒘𝒊 )
pytorch中更新公式：
𝒗𝒊 = 𝒎 ∗ 𝒗𝒊−𝟏 + 𝒈(𝒘𝒊 )
𝒘𝒊+𝟏 = 𝒘𝒊 − 𝒍𝒓 ∗ 𝒗𝒊
𝒗𝟏𝟎𝟎 = 𝒎 ∗ 𝒗𝟗𝟗 + 𝒈(𝒘𝟏𝟎𝟎)
= 𝒈(𝒘𝟏𝟎𝟎) + 𝒎 ∗ (𝒎 ∗ 𝒗𝟗𝟖 + 𝒈(𝒘𝟗𝟗))
= 𝒈(𝒘𝟏𝟎𝟎) + 𝒎 ∗ 𝒈(𝒘𝟗𝟗) + 𝒎𝟐 ∗ 𝒗𝟗𝟖
= 𝒈(𝒘𝟏𝟎𝟎) + 𝒎 ∗ 𝒈(𝒘𝟗𝟗) + 𝒎𝟐 ∗ 𝒈(𝒘𝟗𝟖) + 𝒎𝟑 ∗ 𝒗𝟗𝟕
1.optim.SGD
主要参数：
• params：管理的参数组
• lr：初始学习率
• momentum：动量系数，贝塔
• weight_decay：L2正则化系数
• nesterov：是否采用NAG
optim.SGD(params, lr=<object object>,
momentum=0, dampening=0,
weight_decay=0, nesterov=False)
优化器
Optimizer
-
optim.SGD：随机梯度下降法
-
optim.Adagrad：自适应学习率梯度下降法
-
optim.RMSprop： Adagrad的改进
-
optim.Adadelta： Adagrad的改进
-
optim.Adam：RMSprop结合Momentum
-
optim.Adamax：Adam增加学习率上限
-
optim.SparseAdam：稀疏版的Adam
-
optim.ASGD：随机平均梯度下降
-
optim.Rprop：弹性反向传播
-
optim.LBFGS：BFGS的改进