深度学习中的正则化和归一化

https://blog.csdn.net/wuxusanren/article/details/131175185

归一化是一种将数据按比例缩放,使之落入一个小的特定区间的过程。归一化的主要目的是消除不同量纲及单位影响,提高数据间的可比性,同时也有助于加快算法的收敛速度。如softmax等,也常用于数据预处理

正则化是制定一些规则,防止模型过拟合,通常是在loss中体现,如L1正则化(loss + λ |weight|,有助于产生稀疏解,不重要的参数会变成0,因为绝对值的倒数是不变的),L2正则化(loss + λ * weight**2,有助于使模型参数趋于平滑,即参数值不会太大也不会太小,因为次方倒数随着随着数值变大而变大,数值变小而变小); 还有dropout,early stop等防止过拟合

相关推荐
飞哥数智坊8 小时前
从CodeBuddy翻车到MasterGo救场,我的小程序UI终于焕然一新
人工智能
AKAMAI11 小时前
跳过复杂环节:Akamai应用平台让Kubernetes生产就绪——现已正式发布
人工智能·云原生·云计算
新智元12 小时前
阿里王牌 Agent 横扫 SOTA,全栈开源力压 OpenAI!博士级难题一键搞定
人工智能·openai
新智元12 小时前
刚刚,OpenAI/Gemini 共斩 ICPC 2025 金牌!OpenAI 满分碾压横扫全场
人工智能·openai
机器之心13 小时前
OneSearch,揭开快手电商搜索「一步到位」的秘技
人工智能·openai
阿里云大数据AI技术13 小时前
2025云栖大会·大数据AI参会攻略请查收!
大数据·人工智能
YourKing13 小时前
yolov11n.onnx格式模型转换与图像推理
人工智能
sans_13 小时前
NCCL的用户缓冲区注册
人工智能
sans_13 小时前
三种视角下的Symmetric Memory,下一代HPC内存模型
人工智能
算家计算14 小时前
模糊高清修复真王炸!ComfyUI-SeedVR2-Kontext(画质修复+P图)本地部署教程
人工智能·开源·aigc