深度学习中的正则化和归一化

https://blog.csdn.net/wuxusanren/article/details/131175185

归一化是一种将数据按比例缩放,使之落入一个小的特定区间的过程。归一化的主要目的是消除不同量纲及单位影响,提高数据间的可比性,同时也有助于加快算法的收敛速度。如softmax等,也常用于数据预处理

正则化是制定一些规则,防止模型过拟合,通常是在loss中体现,如L1正则化(loss + λ |weight|,有助于产生稀疏解,不重要的参数会变成0,因为绝对值的倒数是不变的),L2正则化(loss + λ * weight**2,有助于使模型参数趋于平滑,即参数值不会太大也不会太小,因为次方倒数随着随着数值变大而变大,数值变小而变小); 还有dropout,early stop等防止过拟合

相关推荐
SoFlu软件机器人2 分钟前
Cursor、飞算JavaAI、GitHub Copilot、Gemini CLI 等热门 AI 开发工具合集
人工智能·github·copilot
isNotNullX36 分钟前
实时数仓和离线数仓还分不清楚?看完就懂了
大数据·数据库·数据仓库·人工智能·数据分析
Liudef061 小时前
大语言模型的极限:知识、推理与创造力的边界探析
人工智能·语言模型·自然语言处理
潮湿的心情1 小时前
亚洲牧原:活跃行业交流,延伸公益版图,市场拓展再结硕果
大数据·人工智能
平和男人杨争争1 小时前
机器学习14——线性回归
人工智能·机器学习·线性回归
一个天蝎座 白勺 程序猿1 小时前
飞算JavaAI进阶:重塑Java开发范式的AI革命
java·开发语言·人工智能
李昊哲小课1 小时前
pandas销售数据分析
人工智能·python·数据挖掘·数据分析·pandas
whabc1002 小时前
和鲸社区深度学习基础训练营2025年关卡2(2)sklearn中的MLPClassifier
人工智能·深度学习·numpy
往日情怀酿做酒 V17639296382 小时前
pytorch的介绍以及张量的创建
人工智能·pytorch·python
北辰alk3 小时前
如何实现AI多轮对话功能及解决对话记忆持久化问题
人工智能