机器学习-带正则化的成本函数-

在上一节介绍了如何防止模型过拟合,现在就详细的讲一讲其中的一个办法,正则化今天就详细的讲一下

从之前的数据集图象(房价预测)

在模型中我们想要防止过拟合,正则化就是对模型的变量的W进行约束,防止过于敏感,防止对模型影响过大,而且w的参数越大,这一项因子的影响就越大,就会导致模型的曲线波动的非常的厉害,变成高次函数,如右边的模型数据集。就像给模型的自由度上了一个刹车,不让他为了贴合训练数据,猛打方向,结果在新数据中表现不好

因为我们不知道什么特征是重要的特征,什么特征不重要,所以我们对所有参数进行惩罚,但是不对b进行惩罚,对W向量进行惩罚

为了防止参数过大,我们对模型的成本函数进行变化,添参数大小的的影响,当参数过大的时候成本函数就会变大,因为是整体的考虑,计算累加的求和,然后乘以一个参数 lamdba 入 ,

当lamdba等于,或者非常小的时候,实际上就没有进行正则化,或者说惩罚力度非常小,容易过拟合,

当lamdba过大的时候,惩罚力度很大,成本函数为了最小化成本,会将参数压得非常小,相当于忽略了特征,数据就会变成一条直线这条曲线会趋近于b,数据会欠拟合,

相关推荐
财富自由且长命百岁18 小时前
移动端老兵转型端侧 AI:第一周,我跑通了 ResNet50 推理
机器学习
美酒没故事°18 小时前
Open WebUI安装指南。搭建自己的自托管 AI 平台
人工智能·windows·ai
云烟成雨TD18 小时前
Spring AI Alibaba 1.x 系列【6】ReactAgent 同步执行 & 流式执行
java·人工智能·spring
Csvn18 小时前
🌟 LangChain 30 天保姆级教程 · Day 13|OutputParser 进阶!让 AI 输出自动转为结构化对象,并支持自动重试!
python·langchain
小O的算法实验室18 小时前
2026年ASOC,基于深度强化学习的无人机三维复杂环境分层自适应导航规划方法,深度解析+性能实测
算法·无人机·论文复现·智能算法·智能算法改进
简简单单做算法19 小时前
基于GA遗传优化的Transformer-LSTM网络模型的时间序列预测算法matlab性能仿真
深度学习·matlab·lstm·transformer·时间序列预测·ga遗传优化·电池剩余寿命预测
AI攻城狮19 小时前
用 Obsidian CLI + LLM 构建本地 RAG:让你的笔记真正「活」起来
人工智能·云原生·aigc
鸿乃江边鸟19 小时前
Nanobot 从onboard启动命令来看个人助理Agent的实现
人工智能·ai
lpfasd12319 小时前
基于Cloudflare生态的应用部署与开发全解
人工智能·agent·cloudflare
俞凡19 小时前
DevOps 2.0:智能体如何接管故障修复和基础设施维护
人工智能