模型容量
模型容量的影响
估计模型容量
难以在不同的种类算法之间比较 ，例如树模型和神经网络
给定一个模型种类，将有两个主要因素：
- 参数的个数
- 参数值的选择范围
VC维
线性分类器的VC维
VC维的用处
数据复杂度
多个重要因素：
- 样本个数
- 每个样本的元素个数
- 时间、空间结构
- 多样性
总结
- 模型容量需要匹配数据复杂度，否则可能导致欠拟合和过拟合
- 统计机器学习提供数学工具来衡量模型复杂度
- 实际中一般靠观察训练误差和验证误差
李沐 过拟合和欠拟合【动手学深度学习v2】
o(╯□╰)o亚比囧囧囧2024-09-21 7:04
相关推荐
字节跳动终端技术4 小时前
豆包编程能力升级，新增参考图、画板等多元化输入机器之心4 小时前
DeepSeek的新模型很疯狂：整个AI圈都在研究视觉路线，Karpathy不装了机器之心4 小时前
Anthropic上线了网页版Claude Codelky不吃香菜4 小时前
深度学习入门：从“流水线工人”到“变形金刚”的架构漫游指南用户597015044064 小时前
无人机小游戏zhurui_xiaozhuzaizai4 小时前
flash-attention连环问答--softmax 、safe softmax 、online softmaxskywalk81634 小时前
在SCNet使用异构海光DCU 部署文心21B大模型报错HIP out of memory（未调通）ASKED_20194 小时前
深度强化学习之123-概念梳理攻城狮7号5 小时前
OpenAI 的 Sora 2来了：一场创意革命与失控的狂欢