**偏差校正：**初始时刻，⼀阶矩和⼆阶矩的值偏⼩，因为它们是加权平均，beta1和beta2很⼤，⽽且所有梯度都被初始化为0，通过偏差校正，可以将⼀阶矩和⼆阶矩的值放⼤，并且随着迭代次数的增加，校正因⼦会逐渐趋向于1，偏差校正的影响会逐渐减⼩。
**二阶矩的作用:**防止梯度过大而梯度爆炸,或梯度过小而梯度稀疏
相关推荐
2601_962077713 天前
基于Python与NLP的新闻事件信息抽取实战：从NER到时空标准化LlmCraft｜大模型工程实践5 天前
08 预训练语言模型：BERT 与 GPT空堂与归6 天前
序列数据怎么喂给神经网络？用循环神经网络RNN拆开一个时间步空堂与归6 天前
RNN记不住长序列怎么办？用 LSTM 三门一通道接旁路DevOpenClub6 天前
多语言内容审核如何避免误翻译：语种检测、纠错与情感分析编排Jialu.7 天前
中文 BERT 多任务分类项目：从模型结构到训练细节AIGC大时代7 天前
知网 AIGC 检测在罚什么：均匀句长、低指代、零口癖，并不等于「用过 ChatGPT」Jialu.8 天前
从 102M 到 34M：BERT 到 BiLSTM 的完整知识蒸馏实现LlmCraft｜大模型工程实践8 天前
03 文本向量化：词袋模型与 TF-IDF