**偏差校正：**初始时刻，⼀阶矩和⼆阶矩的值偏⼩，因为它们是加权平均，beta1和beta2很⼤，⽽且所有梯度都被初始化为0，通过偏差校正，可以将⼀阶矩和⼆阶矩的值放⼤，并且随着迭代次数的增加，校正因⼦会逐渐趋向于1，偏差校正的影响会逐渐减⼩。
**二阶矩的作用:**防止梯度过大而梯度爆炸,或梯度过小而梯度稀疏
相关推荐
lucas_AI2 天前
别再做词对齐了：让 LLM 直接「往原文里插标签」，跨语言标注 F1 干到 0.92lucas_AI9 天前
LLM 做信息抽取「找得到但对不齐」：1.3 万条中文军事新闻标注揭示了什么WenGyyyL18 天前
从零理解强化学习：为什么 AI 需要 Advantage，而不只是 Reward？咕泡科技20 天前
深度学习碾压机器学习？经典机器学习是否真的无用了？从LLM底层逻辑到工业落地全景解析lucas_AI23 天前
semCER：一个错别字和一个错误名字同罪？OCR 评测指标该按「伤害」计费了承渊政道24 天前
【大模型应用开发:基于GPT-4和ChatGPT】(初识GPT-4和ChatGPT)for_ever_love__1 个月前
LangChain SelfQueryRetriever：让模型自己写过滤条件还卿一钵无情泪1 个月前
Unsloth 微调 构建自己的大模型 没有GPU也能微调还卿一钵无情泪1 个月前
Docker 部署Unsloth 绕开环境配置难题mit6.8241 个月前
推荐十本书