误差分析：
你运行一个算法代替人类计算，但是没有达到人类的效果，需要手动检查算法中的错误，对模型的一些部分做相应调整，才能更好地提升分类的精度。如果不加分析去做，可能几个月的努力对于提升精度并没有作用。所以一个好的误差分析的流程就相当重要。
表现上限：关注改正一个误差能提高多少准确率
并行的错误分析
做一个表格，写出错误的类型，并对样本进行统计，计算错误类别的百分比，结果能给你提供参考，决定优先解决的问题
清理错误标签数据：
监督学习中，有输入数据和输出标签，当输出标签错误，首先应该考虑训练集的情况（其实深度学习对于训练集中的随机错误很稳健，但对系统误差（本身标记的错误，而不是分类器错误）不稳健），随机误差造成的错误对算法结果影响很小。
如果决定研究开发集手动重新检查标签，并且尝试纠正，现需要考虑额外的指南和原则：
- 同时应用开发集和测试集
- 检查算法预测准确和错误的例子，看那些需要被纠正的，有时即使预测对了，但仍需要被纠正，如果只纠正预测错的，评估算法错误率的时候，就会有更大的偏差
- 研究开发集和测试集，去纠正标签，可能应用同样的方法到训练集上，也可能不，因为纠正训练集不是那么重要，同时，开发集和测试集需要保持同分布，但是训练集稍微i不同也是很合理的
训练和测试的不同分布：
如果想扩大训练样本，但是只有数据分布不同的数据，应该将这部分数据放入训练集。开发集和测试集用的是满足目标分布的数据
不匹配数据分布的偏差和方差：
偏差和方差能确定下一步工作的优先级，当训练、开发、测试集来自不同的分布时，偏差和方差的分析方法也会发生变化。
假如人类在某个问题上有近乎完美表现，即贝叶斯误差约等于0，进行误差分析时要兼顾训练集和开发集误差
如果训练集和开发集不同分布，从训练集误差到开发集误差有两个事情变了
- 算法看到的数据只有训练集没有开发集
- 俩个集合不同分布
新建立一个子集：训练-开发集---从训练集随机抽取一部分混淆，区分上述两个事情对误差的影响
数据不匹配解决方法：
- 进行人工误差分析，尝试去了解训练集和开发测试集的具体差异在哪里。
- 尝试把训练数据变得更像开发集，或者收集更多的类似开发集和测试集的数据，如增加噪音；
迁移学习：
可以将在一个任务的神经网络中学到的东西应用到另一个任务（预训练、微调）
迁移学习什么时候有用：当在被迁移的模型中有大量的数据，而目标模型数据较少时
参考：吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记（3-2）-- 机器学习策略（2）_deeplearning ai 笔记 3-2-CSDN博客