**偏差校正：**初始时刻，⼀阶矩和⼆阶矩的值偏⼩，因为它们是加权平均，beta1和beta2很⼤，⽽且所有梯度都被初始化为0，通过偏差校正，可以将⼀阶矩和⼆阶矩的值放⼤，并且随着迭代次数的增加，校正因⼦会逐渐趋向于1，偏差校正的影响会逐渐减⼩。
**二阶矩的作用:**防止梯度过大而梯度爆炸,或梯度过小而梯度稀疏
相关推荐
咕泡科技2 分钟前
深度学习碾压机器学习？经典机器学习是否真的无用了？从LLM底层逻辑到工业落地全景解析lucas_AI3 天前
semCER：一个错别字和一个错误名字同罪？OCR 评测指标该按「伤害」计费了承渊政道4 天前
【大模型应用开发:基于GPT-4和ChatGPT】(初识GPT-4和ChatGPT)for_ever_love__10 天前
LangChain SelfQueryRetriever：让模型自己写过滤条件还卿一钵无情泪13 天前
Unsloth 微调 构建自己的大模型 没有GPU也能微调还卿一钵无情泪14 天前
Docker 部署Unsloth 绕开环境配置难题mit6.82420 天前
推荐十本书zx_7414848122 天前
【深度学习入门】基于TextRNN的微博情感分析（二）：模型构建与训练宿州派大星1 个月前
[NLP实战] 基于PyTorch实现N-gram词嵌入模型：输入4个词预测第5个词宝贝儿好1 个月前
【LLM】第六章：LangChain框架中的大模型的创建与调用