李沐 过拟合和欠拟合【动手学深度学习v2】

模型容量

模型容量的影响

估计模型容量

难以在不同的种类算法之间比较 ,例如树模型和神经网络

给定一个模型种类,将有两个主要因素:

  • 参数的个数
  • 参数值的选择范围

VC维

线性分类器的VC维

VC维的用处

数据复杂度

多个重要因素:

  • 样本个数
  • 每个样本的元素个数
  • 时间、空间结构
  • 多样性

总结

  • 模型容量需要匹配数据复杂度,否则可能导致欠拟合和过拟合
  • 统计机器学习提供数学工具来衡量模型复杂度
  • 实际中一般靠观察训练误差和验证误差
相关推荐
数智化精益手记局1 分钟前
拆解红牌作战的步骤:掌握红牌作战的步骤,解决现场管理难题
大数据·数据结构·人工智能·制造·精益工程
小仙女的小稀罕2 分钟前
政务行业政务服务标准化专属解决方案
人工智能·政务
wuyoula3 分钟前
尹之盾企业版网络验证
服务器·开发语言·javascript·c++·人工智能·ui·c#
好家伙VCC6 分钟前
上市公司产学研合作及专利数据(1998-2022年)
人工智能·python
happyprince10 分钟前
[推理]vLLM-2026年第二季度路线图
人工智能
自动驾驶小学生10 分钟前
Transformer和LLM前沿内容(4):Long-Context LLM
人工智能·深度学习·transformer
Rick199310 分钟前
LangChain(含 LangChain4j)和 Spring AI的区别
人工智能·spring·langchain
java1234_小锋14 分钟前
Spring AI 2.0 开发Java Agent智能体 - Spring AI 2.0简介
java·人工智能·spring·spring ai
Jun62615 分钟前
【树莓派】opencv水滴接触角测量
人工智能·opencv·计算机视觉
zhangfeng113320 分钟前
No space left on device (28) llamafactory微调训练的时候 报错,需要调节 dataloader_num_workers
人工智能·语言模型·llama