李沐 过拟合和欠拟合【动手学深度学习v2】

模型容量

模型容量的影响

估计模型容量

难以在不同的种类算法之间比较 ,例如树模型和神经网络

给定一个模型种类,将有两个主要因素:

  • 参数的个数
  • 参数值的选择范围

VC维

线性分类器的VC维

VC维的用处

数据复杂度

多个重要因素:

  • 样本个数
  • 每个样本的元素个数
  • 时间、空间结构
  • 多样性

总结

  • 模型容量需要匹配数据复杂度,否则可能导致欠拟合和过拟合
  • 统计机器学习提供数学工具来衡量模型复杂度
  • 实际中一般靠观察训练误差和验证误差
相关推荐
ShuQiHere几秒前
【ShuQiHere】 探索计算机视觉的世界:从基础到应用
人工智能·计算机视觉
毕小宝1 分钟前
TensorFlow 的基本概念和使用场景
人工智能·python·tensorflow
Yorelee.9 分钟前
保研面试问题总结
深度学习·动态规划
魔力之心14 分钟前
人工智能与机器学习原理精解【24】
人工智能·机器学习·概率论
浊酒南街18 分钟前
吴恩达深度学习笔记:卷积神经网络(Foundations of Convolutional Neural Networks)2.1-2.2
人工智能·深度学习·机器学习
#include<菜鸡>28 分钟前
深度学习-图像处理篇1.1-1.2神经网络
图像处理·深度学习·神经网络
AI完全体41 分钟前
【AI战略思考1】如何更高效地了解AI行业的最新动态和商业应用以及我的时间分配
人工智能·机器学习·ai·商业应用·ai行业动态·技术趋势·信息渠道
#include<菜鸡>1 小时前
动手学深度学习(pytorch土堆)-06损失函数与反向传播、模型训练、GPU训练
人工智能·pytorch·深度学习
钡铼技术2 小时前
通过MCGS在ARMxy边缘计算网关上实现物流自动化
人工智能·自动化·边缘计算·钡铼技术·armxy边缘计算网关