模型容量
模型容量的影响
估计模型容量
难以在不同的种类算法之间比较 ,例如树模型和神经网络
给定一个模型种类,将有两个主要因素:
- 参数的个数
- 参数值的选择范围
VC维
线性分类器的VC维
VC维的用处
数据复杂度
多个重要因素:
- 样本个数
- 每个样本的元素个数
- 时间、空间结构
- 多样性
总结
- 模型容量需要匹配数据复杂度,否则可能导致欠拟合和过拟合
- 统计机器学习提供数学工具来衡量模型复杂度
- 实际中一般靠观察训练误差和验证误差
难以在不同的种类算法之间比较 ,例如树模型和神经网络
给定一个模型种类,将有两个主要因素:
多个重要因素: