重点-偏差方差与神经网络

高偏差和高方差都是不好的,他们都会损害算法的性能

神经网络用了一种新的方式来解决高偏差和高方差的问题

在一个数据集中如果模型过于简单就会产长高偏差,如果模型过于复杂就会产生高偏差,我们要做的就是,好的模型在高方差和高偏差之间,我们要找到这个平衡点,

大型神经网络在中小规模的数据集中都是低偏差,他们都可以很好的拟合数据,

线下有个方法,虽然不常用,但是

在训练神经网络的时候,我们遇到高偏差(低于人类水平)我们就增加神经网络的隐藏层,吧神经网络变得复杂,然后再次训练看结果,直到地偏差(接近或者达到人类或者同类竞争算法的标准)

然后就是测试集,当测试集出现高偏差的时候,我们就增加数据,再去训练,这样循环,直到不出现高偏差,就去用验证集验证

我们可能会担心,如果我的神经网络太大了怎么办

事实证明,一个经过训练的大型神经网络,通常表现得和较小的一样好,甚至更好

小神经网络变成大的神经网络可能会认为,过拟合的风险会显著提升,但是适当的正则化这个大的神经网络,

如果神经网络的损失函数是平均损失,这里的损失函数可以是平均误差或者逻辑误损失,那么神经网络的正则化是lambda除以2m乘以W的平方,

上面的是没有正则化的TensorFlow

下面是正则化之后的TensorFlow

本节的两个重点

1.只要适当正则化,拥有一个更大的神经网络几乎不会有什么坏处,一个要注意的地方是,拥有一个更大的神经网络,会减慢算法速度,但是在大多数的情况下,是不会影响算法的性能的,

2.只要你的数据集不是太大,那么一个神经网络,尤其是大型神经网络,通常是一个低偏差的机器,他非常适合你和复杂的函数,

相关推荐
吴佳浩3 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_096 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
H.莓飛7 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
火山引擎开发者社区7 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔8 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区8 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1238 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI8 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健9 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程