机器学习-正则化线性回归

如上图我们不需要对b进行正则化,w控制着特征的影响强度,W太大会容易让模型对训练数据过于敏感,造成过拟合,而B是偏置项,相当于对所有样本添加了一个固定值,,他的大小对模型的影响很小,不会导致过拟合额,他只影响模型的整体平移

我么看一下正则化是做了什么

我们对正则化的式子展开并且重新排列,会发现 后面的一项其实就是 没有正则化线性回归时候的梯度下降方程,我们看前一项, w和一个东西想成,如果我们找到一些数据带入到这一块中,如右图,我们可以发现 相当于是将W乘以了一个参数,这个参数的大小和 lamdba 有关,在右边的数据可以看出,相当于每次都对W乘以了一个小于1 但是近似与1的数进行变化,相当于每次都对W进行了一次小缩放,以防止过拟合

实际上 学习率是一个很小的数字,样本数据也是足够多的,lamdba 也是最够小的,这会导致 W会乘以一个小于1的但是很接近于1的数字,对W进行 打折每次都会打折,进行迭代

我们从式子可以看出,

lamdba 是和这个w相乘的系数是成反比的,

这个系数和模型的拟合能力是成反比的,

所以lamdba和模型的拟合能力是成正比的

lamdba 越大,系数越小 ,对W的惩罚越大,w就会越小,模型就越简单,模型就会欠拟合

lamdba 越小,对w的约束就会越小,模型就会过拟合,

lamdba 就是W的调节器,是反相关的

w的大小决定了模型的拟合深度,w大过拟合,W小欠拟合

lamdba 越大 模型就会欠拟合

lamdba 越小 模型就会过拟合

推导过程如小图

相关推荐
DogDaoDao3 分钟前
【GitHub】VoxCPM2 实战全解析:原理、部署与效果对比
深度学习·大模型·github·音频·语音模型·tss·文本生成语音
xrgs_shz4 分钟前
基于K-Means聚类分析的鸢尾花分类
人工智能·机器学习
Chef_Chen18 分钟前
论文解读:GAIA给通用AI助手泼冷水,人类92分GPT-4插件版只到30分
人工智能
Black蜡笔小新28 分钟前
自动化AI算法训练服务器DLTM训推一体工作站赋能多行业智能化升级
人工智能·算法·自动化
KaMeidebaby28 分钟前
卡梅德生物技术快报|噬菌体文库构建实验优化及偶联体系实验数据分析
大数据·人工智能·架构·spark·新浪微博
NineData33 分钟前
SQL 都在等锁时,ChatDBA 先帮 MySQL 找到谁在挡路
数据库·人工智能·sql·mysql·安全·数据复制·数据迁移工具
意图共鸣37 分钟前
意图共鸣科技《AI记忆链商业化白皮书3.0》技术解读:“AI焦虑的解药”——从通用AI到个人记忆链架构
人工智能·科技·架构
小e说说42 分钟前
AI 时代,IT 职业教育如何为学习者赋能?——职坐标的 AI+教育实践
人工智能
后端小肥肠44 分钟前
不会做视频的我,用 Codex 跑通口播 + 自动剪辑,获客 20+
人工智能·aigc·agent
某林2121 小时前
跨越底层与AI的鸿沟:ROS2+多模态大模型(Qwen-VL)机器人全链路排障实录
人工智能·stm32·机器人·人机交互·ros2·技术复盘