**偏差校正：**初始时刻，⼀阶矩和⼆阶矩的值偏⼩，因为它们是加权平均，beta1和beta2很⼤，⽽且所有梯度都被初始化为0，通过偏差校正，可以将⼀阶矩和⼆阶矩的值放⼤，并且随着迭代次数的增加，校正因⼦会逐渐趋向于1，偏差校正的影响会逐渐减⼩。
**二阶矩的作用:**防止梯度过大而梯度爆炸,或梯度过小而梯度稀疏
相关推荐
uncle_ll5 天前
深入探索 Hugging Face核心组件及实践迷途呀11 天前
Python：函数中的参数类型Tbisnic11 天前
28.NLP 三大预训练模型 ELMo/BERT/GPT + HuggingFace TransformersAll The Way North-14 天前
【NLP文本分类实战】随机森林 + TF-IDF 完整流程，准确率82.5%（数据分析/分词/模型训练）Tp_jh18 天前
ChatGPT（原Codex）如何接入本地模型？实现token自由（2026 最新版）promising_xxx24 天前
深度学习个人开源知识库 深度筑基 | DeepBaseAll The Way North-1 个月前
FastText核心API train_supervised 完全指南：参数详解、学习率衰减、预测评估与中英文数据避坑yLDeveloper1 个月前
从矩阵乘法到多模态大模型 - LLM 篇