- 如果在测试集上的效果不佳，应该要做什么？
- Optimization 如何选择？
- 解决 overfitting 的方法？
测试集上的效果不佳
- 看训练数据的loss，是不是模型本身就没训练好？
- 问题：model 太简单了，func set 中没有满足条件的 func (我觉得这就是一种欠拟合的状态吧)
- 解决方案：使用更复杂的模型
- 优化法 Optimization 没有选对，比如通过梯度下降，结果收敛到局部最优。
- 如何确定是 model 不够复杂还是优化法没有选对呢？可以先选择更复杂的模型，看有没有提升。假设换了更复杂的模型，还是没有学好的话，表明是 Optimization 的问题。
备注：如果训练层数变多，在训练集上的 loss 先减小后增大，这是的过拟合问题吗？（不是，因为过拟合是相对测试集来讲的，所以不是过拟合 overfitting
overfitting 的解决方案
mismatch
mismatch 是说训练和测试数据分布不一致带来的。不能靠增加训练数据来解决
