机器学习—再次决定下一步做什么

通过看Jtrain和Jcv,即训练错误和交叉验证错误,或者甚至绘制学习曲线,你可以试着去感受一下,你的学习算法是高偏差还是高方差,一种学习算法,会经常看训练错误和交叉验证错误,尝试判断算法是高偏差还是高方差,事实证明,这将帮助你更好地决定下一步要尝试什么。

如果你对预测房价实施了正则化线性回归,但你的算法在预测中犯了不可接受的大错误,下一步要尝试什么,这是六个想法,获取更多的训练示例,尝试一组小功能,附加功能等等。事实证明,这六项中的每一项要么有助于修复高方差要么是高偏见问题,尤其是如果你的学习算法有很高的偏差,其中三种技术将是有用的,如果你的学习算法有很高的方差,那么这三种不同的技术将是有用的,1.获取更多的训练示例,如果你的算法有很高的偏差,唯一能做的就是自己获取更多的训练数据,可能用处不大,但相比之下,如果你的算法有很高的方差,说它太适合一个非常小的训练集,那么得到更大的训练例子会有很大的帮助,因此,获得更多训练示例的第一个选择有助于解决高方差问题;2.有时如果你的学习算法有太多的特征,然后它给了算法太多的灵活性来拟合非常复杂的模型,如果你把X X² X³,一直到四次方,如果你能消除其中的一些,那么模型就不会那么复杂了,它不会有这么大的方差,如果你怀疑你的算法有许多实际上不相关的特性或有助于预测房价或者如果你怀疑有一些多余的功能,然后消除或减少特征的数量,将有助于降低算法过度拟合数据的灵活性,所以这也可以帮助修复高方差;3.反过来说,获取附加功能,那只是增加了额外的功能,与去一个较小的功能集相反,这将帮助修复一个高偏差问题作为一个具体的例子,如果你试图根据房子的大小来预测房子的价格,但是,事实证明,房子的价格取决于卧室的数量,在楼层数和房龄上,除非添加这些额外的特性,否则算法永远不会做的那么好,所以这是一个高偏差问题,因为你在训练场上做不到,当你只知道大小,只有当你告诉算法有多少间卧室时,有几层,这房子有几年历史了,有了足够的信息,甚至在训练集上做得更好,因此,添加额外的特性是解决高偏差问题的一种方法;4.添加多项式特性有点像添加附加特性,所以如果你是线性函数直线,不能很好地适应训练集,然后添加额外的多项式特性可以帮助你在训练集上做的更好,是解决高偏差问题的一种方法,5.然后递减lambda,对正则化参数使用较低值的方法,这意味着我们将减少对这一术语的关注,帮助解决高偏差问题;6.最后很好的增加lambda,说明过度拟合了数据,因此,增加lambda是有意义的,如果它过度适应训练集,只是把太多注意力放在训练上,但以推广新例子为代价,因此,增加lambda将迫使算法拟合更平滑的函数,也许是一个不那么摇摆不定的功能,用它来解决一个高方差问题

如果你发现你的算法有很高的方差,两个主要的修复方法是获得更多的训练数据或者简化模型(获得较小的特征集,增加正则化参数lambda),所以你的算法不太灵活,无法适应非常复杂的情况,非常摆动的曲线;如果你的算法有很高的偏差,那就意味着即使在训练场它也做的不好,主要的修复是使模型更加强大,使其具有更大的灵活性,以适应更复杂或更灵活的功能,因此一些方法是给它额外的功能,或者增加多项式特征,或者减少正则化参数lambda

如果你应该通过减少训练集大小来修复高偏差,那实际上没有帮助,如果减少训练集大小,会更适合训练集,但这会使交叉验证错误恶化以及你的学习算法的性能,所以不要随意扔掉训练例子,只是为了解决一个高偏差问题。

相关推荐
XiaoYu2002几秒前
AI精准提问手册:从模糊需求到精准输出的核心技能(上)
前端·人工智能·程序员
空空kkk11 分钟前
Java——接口
java·开发语言·python
java_logo13 分钟前
Docker 部署 MinerU 教程:打造你的本地 PDF 智能处理中心
linux·运维·人工智能·docker·ai·容器·aigc
做运维的阿瑞18 分钟前
鸿蒙6.0技术解析:五大行业迎来的智能化革命
人工智能·harmonyos
双向3320 分钟前
技术引领场景革新|合合信息PRCV论坛聚焦多模态文本智能前沿实践
人工智能
飞翔的佩奇23 分钟前
【完整源码+数据集+部署教程】【运动的&足球】足球比赛分析系统源码&数据集全套:改进yolo11-RFAConv
前端·python·yolo·计算机视觉·数据集·yolo11·足球比赛分析系统
孤狼灬笑27 分钟前
自然语言处理(NLP)—发展历程(背景、技术、优缺点、未来方向)
人工智能·自然语言处理·nlp
特拉熊27 分钟前
Windows上使用Docker Desktop部署GPUStack
人工智能·程序员
LLM大模型28 分钟前
DeepSeek V3.2 AI辅助-构建可视化多维知识立方体展示知识体系
人工智能
Zyx200728 分钟前
用 OpenAI SDK 快速搭建你的第一个 AIGC 应用:从零开始生成文本
人工智能·node.js