机器学习——正则化

正则化(Regularization)简介

在机器学习中,正则化是用来防止模型过拟合的一种方法。通过向模型的损失函数中加入一个正则项(也叫惩罚项),约束模型的复杂度,使其更具泛化能力。

为什么需要正则化?

  • 过拟合(Overfitting) :
    • 训练集的误差很小,但在测试集上的表现较差。
    • 通常是因为模型过于复杂,过度拟合训练数据的噪声或细节。
  • 正则化的作用 :
    • 限制模型的自由度(降低复杂度)。
    • 让模型更加平滑,从而提升对未见数据的泛化能力。

样例

下面是加入正则项的损失函数

要是的损失函数最小,就需要使 w1,w2 变得无穷小,以满足 最小

最后使得模型等同于上图第一个模型

常见的正则化方法

1. L1 正则化(Lasso Regularization)
  • 定义 : 在损失函数中加入参数绝对值的和作为正则项:
  • 特点 :
    • 能将某些特征的权重缩小到 0,从而实现特征选择。
    • 更适合用于稀疏数据或希望简化模型的场景。

2. L2 正则化(Ridge Regularization)
  • 定义: 在损失函数中加入参数平方和作为正则项:

  • 特点:

    • 不会强制权重为零,而是让权重更趋向于较小值。
    • 常用于回归模型(如 Ridge Regression)中。
3. Elastic Net 正则化
  • 定义 : 同时结合 L1 和 L2 的正则化形式:
  • 特点 :
    • 结合了 L1 和 L2 的优点。
    • 在稀疏数据和多重共线性场景下效果更好。
4. Dropout(丢弃法)
  • 原理: 在训练时,随机丢弃神经网络中的一部分神经元(即将部分输出设为 0)。
  • 特点 :
    • 防止深度神经网络过拟合。
    • 增强网络的鲁棒性,相当于对多个子模型进行集成。

正则化中的关键参数

  • 正则化强度 (λ\lambdaλ):

    • 控制正则化项的影响力。
    • λ\lambdaλ 太大:模型可能欠拟合。
    • λ\lambdaλ 太小:正则化效果不足,可能过拟合。
    • 通常通过交叉验证选择最优 λ\lambdaλ。
  • 选择正则化方法:

    • 数据稀疏:优先选择 L1 或 Elastic Net。
    • 数据规模大,特征较多:优先选择 L2。

总结

正则化是控制模型复杂度、防止过拟合的核心技术。根据具体任务需求,可以选择 L1、L2、Elastic Net、Dropout 或其他正则化方法来提升模型的泛化能力。

相关推荐
开开心心就好5 分钟前
显示器关不掉怎么办,用小工具一键息屏
算法·智能手机·pdf·计算机外设·ocr·lua·1024程序员节
百度Geek说11 分钟前
从代码生成到需求交付:DarkFactory 的工程实践
人工智能
专注仿真14 分钟前
基于 AFSIM 的智能体训练:多智能体强化学习篇 —— QTRAN 算法实战
开发语言·python·算法·php·强化学习·afsim智能体·仿真训练
Baihai_IDP16 分钟前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm
挖掘狂人17 分钟前
AI 三分钟写完的代码,你凭什么敢直接上线?
人工智能·程序员·ai编程
墨林陌31 分钟前
AI 热点日报(2026-11-20):苹果自研 AI 智能体曝光,Anthropic 上市首日大涨,智能体支付落地
人工智能
AAA修煤气灶刘哥35 分钟前
32 GB 内存跑起 1800 亿参数模型,代价是什么?
人工智能·后端·架构
FR02EN77739 分钟前
[LeetCode] 26、80.删除有序数组中的重复项 题解
数据结构·算法
玩美数据1 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
oil欧哟1 小时前
Oil Studio 的产品思路与日常使用方式:在 Mac 上录口播演示,并接入 AI Agent 精剪与自动录屏
人工智能·macos