深度学习中的正则化和归一化

https://blog.csdn.net/wuxusanren/article/details/131175185

归一化是一种将数据按比例缩放,使之落入一个小的特定区间的过程。归一化的主要目的是消除不同量纲及单位影响,提高数据间的可比性,同时也有助于加快算法的收敛速度。如softmax等,也常用于数据预处理

正则化是制定一些规则,防止模型过拟合,通常是在loss中体现,如L1正则化(loss + λ |weight|,有助于产生稀疏解,不重要的参数会变成0,因为绝对值的倒数是不变的),L2正则化(loss + λ * weight**2,有助于使模型参数趋于平滑,即参数值不会太大也不会太小,因为次方倒数随着随着数值变大而变大,数值变小而变小); 还有dropout,early stop等防止过拟合

相关推荐
静西子11 分钟前
LLM大语言模型部署到本地(个人总结)
人工智能·语言模型·自然语言处理
cxr82835 分钟前
基于Claude Code的 规范驱动开发(SDD)指南
人工智能·hive·驱动开发·敏捷流程·智能体
Billy_Zuo38 分钟前
人工智能机器学习——决策树、异常检测、主成分分析(PCA)
人工智能·决策树·机器学习
小王爱学人工智能1 小时前
OpenCV的图像金字塔
人工智能·opencv·计算机视觉
北京地铁1号线1 小时前
Qwen-VL(阿里通义千问视觉语言模型)模型架构和损失函数介绍
人工智能·语言模型·自然语言处理
阿豪31 小时前
2025 年职场转行突围:除实习外,这些硬核证书让你的简历脱颖而出(纯经验分享)
大数据·人工智能·经验分享·科技·信息可视化·产品经理
阿杜杜不是阿木木2 小时前
开始 ComfyUI 的 AI 绘图之旅-Stable Diffusion图生图之局部重绘(Inpaint)和扩图(Outpaint)(三)
人工智能·ai·ai作画·aigc·图生图
阿杜杜不是阿木木2 小时前
开始 ComfyUI 的 AI 绘图之旅-Stable Diffusion图生图(二)
人工智能·ai·ai作画·aigc·图生图
九章云极AladdinEdu2 小时前
存算一体芯片生态评估:从三星PIM到知存科技WTM2101
人工智能·pytorch·科技·架构·开源·gpu算力