【深度学习】通俗理解偏差(Bias)与方差(Variance)

在统计学习中,我们通常使用方差与偏差来衡量一个模型

1. 方差与偏差的概念

偏差(Bais): 预测值和真实值之间的误差
方差(Variance): 预测值之间的离散程度

低偏差低方差、高偏差低方差:

图中每个点表示同一个模型每次采样出不同样本训练出来的结果,我们期望的是低偏差低方差

低偏差高方差、高偏差高方差:

2. 模型泛化误差

假设我们有样本数据 D = { ( x 1 , y 1 ) , . . . , ( x n , y n ) } D=\{(x_1,y_1),...,(x_n,y_n)\} D={(x1,y1),...,(xn,yn)} ,其中真实值 y = f ( x ) + ϵ y = f(x) + \epsilon y=f(x)+ϵ

在使用模型算法评价时,通常使用预测值 y ^ \hat y y^ 和真实值 y y y 的距离,最常用的函数就是距离的平方,均方误差如下公式:

如下图所示(横轴表示模型复杂度,纵轴表示误差)我们希望在中间位置找到一个合适的模型复杂度,使得泛化误差尽可能的小。模型过于简单会导致欠拟合,模型过于复杂会导致过拟合。

泛化误差 = 偏差 + 方差 + 数据噪声 泛化误差 = 偏差 + 方差 + 数据噪声 泛化误差=偏差+方差+数据噪声

  • 如果模型选择过于简单,会有很多特征学习不到,此时预测值与真实的误差就会很大,即偏差很大
  • 随着模型的复杂度提升,模型学到特征也会越多,此时偏差会逐渐降低
  • 当模型变得更复杂,模型此时可能会学习到一些数据噪声,此时方差变大

3. 降低方差、偏差、数据噪音

减少偏差:

  • 使用较为复杂模型
  • 集成学习算法 Boosting、Stacking

减少方差:

  • 使用一个较为简单的模型
  • 使用L1、L2等正则化技术
  • 集成学习算法 Bagging、Stacking

减少数据噪音:

  • 来自于数据采集误差,需要更精确的数据采集

本文参考:

https://blog.csdn.net/weixin_42327752/article/details/121428875

相关推荐
测试者家园3 分钟前
如何提高自动化测试覆盖率和效率
自动化测试·软件测试·人工智能·ci/cd·测试覆盖率·it行业·质量效能
Lulsj15 分钟前
代码随想录day24 | 贪心算法理论基础 leetcode 455.分发饼干 376.摆动序列 53. 最大子序和
算法·leetcode·贪心算法
KuaCpp16 分钟前
算法初学者(图的存储)链式前向星
c++·算法
JINGWHALE117 分钟前
设计模式 行为型 备忘录模式(Memento Pattern)与 常见技术框架应用 解析
前端·人工智能·后端·设计模式·性能优化·系统架构·备忘录模式
Cosmoshhhyyy20 分钟前
LeetCode:2270. 分割数组的方案数(遍历 Java)
java·算法·leetcode
Nil_cxc1 小时前
机器学习周报-GNN模型学习
人工智能·学习·机器学习
爱思德学术-IAAST1 小时前
CCF推荐-C类:ACM主办,录用率23.8%,计算机学术会议截稿信息2条
人工智能·网络安全·ccf推荐会议
QQ27437851091 小时前
django基于Python对西安市旅游景点的分析与研究
java·后端·python·django
打不了嗝 ᥬ᭄2 小时前
P3884 [JLOI2009] 二叉树问题
数据结构·算法·蓝桥杯
AI明说2 小时前
CancerGPT :基于大语言模型的罕见癌症药物对协同作用少样本预测研究
人工智能·语言模型·自然语言处理·大模型·rag