**偏差校正：**初始时刻，⼀阶矩和⼆阶矩的值偏⼩，因为它们是加权平均，beta1和beta2很⼤，⽽且所有梯度都被初始化为0，通过偏差校正，可以将⼀阶矩和⼆阶矩的值放⼤，并且随着迭代次数的增加，校正因⼦会逐渐趋向于1，偏差校正的影响会逐渐减⼩。
**二阶矩的作用:**防止梯度过大而梯度爆炸,或梯度过小而梯度稀疏
相关推荐
uncle_ll5 天前
Llama 3 私有化落地全栈实战：从 Ollama 极速部署到 LLaMA Factory LoRA 定制微调墨心@5 天前
阶段 1：一次模型调用阿图灵8 天前
基于 GRU 的 Seq2Seq 中英机器翻译：从 Tatoeba 语料到 BLEU 0.195网络工程小王8 天前
【HCIE-AI】4.NLP 核心任务与技术演进学习笔记Lee_jerome9 天前
python神经网络编程入门（三十五）——Transformer 整体架构——一张图看懂全貌Lee_jerome10 天前
python神经网络编程入门（三十三）——多头注意力（Multi-Head Attention）Lee_jerome12 天前
python神经网络编程入门（三十）——Transformer 从 RNN 到注意力：模型为什么需要“瞄一眼“阿图灵12 天前
基于 LSTM 的中文电商评论情感分类：从数据处理到 91% 准确率实战方品14 天前
【无标题】今日无bug15 天前
用 Prompt 做 NLP 任务开发：几分钟构建一个推理系统