深度学习中的正则化和归一化

https://blog.csdn.net/wuxusanren/article/details/131175185

归一化是一种将数据按比例缩放,使之落入一个小的特定区间的过程。归一化的主要目的是消除不同量纲及单位影响,提高数据间的可比性,同时也有助于加快算法的收敛速度。如softmax等,也常用于数据预处理

正则化是制定一些规则,防止模型过拟合,通常是在loss中体现,如L1正则化(loss + λ |weight|,有助于产生稀疏解,不重要的参数会变成0,因为绝对值的倒数是不变的),L2正则化(loss + λ * weight**2,有助于使模型参数趋于平滑,即参数值不会太大也不会太小,因为次方倒数随着随着数值变大而变大,数值变小而变小); 还有dropout,early stop等防止过拟合

相关推荐
张彦峰ZYF8 分钟前
从检索到生成:RAG 如何重构大模型的知识边界?
人工智能·ai·aigc
刘海东刘海东10 分钟前
结构型智能科技的关键可行性——信息型智能向结构型智能的转变(修改提纲)
人工智能·算法·机器学习
**梯度已爆炸**31 分钟前
NLP文本预处理
人工智能·深度学习·nlp
uncle_ll36 分钟前
李宏毅NLP-8-语音模型
人工智能·自然语言处理·语音识别·语音模型·lm
Liudef0636 分钟前
FLUX.1-Kontext 高效训练 LoRA:释放大语言模型定制化潜能的完整指南
人工智能·语言模型·自然语言处理·ai作画·aigc
静心问道38 分钟前
大型语言模型中的自动化思维链提示
人工智能·语言模型·大模型
众链网络1 小时前
你的Prompt还有很大提升
人工智能·prompt·ai写作·ai工具·ai智能体
汀沿河1 小时前
2 大模型高效参数微调;prompt tunning
人工智能·深度学习·prompt
路溪非溪1 小时前
机器学习之线性回归
人工智能·机器学习·线性回归
搞笑的秀儿2 小时前
信息新技术
大数据·人工智能·物联网·云计算·区块链