课程概要
介绍了当我们遇到模型效果（loss）不理想时，进行模型优化的分析方法和思路。
Part 1> 原因分析
可能的原因：
-
数据集标签不够（标签之间的因果关联性不强）
-
模型简单（神经元层数不够）
-
优化问题（optimization）
-
训练过拟合 （ovefiting）
-
训练集和测试集 统计学数据分布不匹配（mismatch）
判断方法
是不是训练集和测试集mismatch
训练集如果loss很低，但测试集loss高，则可以分析 训练集和测试集的区别
mismatch的情况示例：
e.g.1 用动物园的图像分类模型，识别野生动物
e.g.2 用亚洲人的特征识别模型，识别欧洲人的特征
是不是过拟合
训练集如果loss很低，但测试集loss高，且不太可能是mismatch的情况，说明很可能是过拟合
模型简单
加了神经元，没有优化效果：加了神经元，训练集和测试集的loss依然很高
则排除是模型简单的原因；
是不是optimization问题
不是上述两个，则可能是optimization
Part 2> 解决思路
应对overfiting：
方法一：增加/丰富数据集
-
收集真实数据
-
通过小样本扩增法（e.g. 图像左右反转、镜像等合理调整）
方法二：增加限制条件
-
简化模型------减少参数
-
减少关联性较少的标签（features)
-
减少训练次数
-
【预告】regularization数据归一化处理
-
简化模型------减少少神经元（dropout）
-
【预告】全连接网络、CNN部分讲
Part 3> 验证效果
通过公开数据集、私有数据集和自己的数据集中划分出的validtion set验证。
public数据集验证：
目的：公众说服力
示例：MINST手写数字
private数据集验证：
目的：公众说服力 / 领域内说服力。
示例：医患数据集（医患数据涉及病人隐私，常为非公开数据集）
validation数据集验证：
目的：证明神经网络/模型结构设计合理性、可解释性（逻辑自洽）；也可以证明 泛用性（可迁移性）通用性
方法：validation 数据集划分（N-flod Cross法划分， "交叉验证"取平均值）
图为N-flod中N为3的示例。