【NLP高频面题】用RNN训练语言模型时如何计算损失？

用RNN训练语言模型时如何计算损失？

重要性：★

以"you say goodbye and i say hello."为例，将其作为具体的数据传入网络，此时 RNNLM 进行的处理如图所示：

RNNLM 可以"记忆"目前为止输入的单词，并以此为基础预测接下来会出现的单词。RNN 层通过从过去到现在继承并传递数据，使得编码和存储过去的信息成为可能。

在 Softmax 中通过损失误差 Cross Entropy Error 层来评估预测结果和实际标签之间的损失，RNNLM的损失是对所有时刻的误差的平均 ，如图所示：

---

NLP 大模型高频面题汇总

NLP基础篇

【NLP 面试宝典 之 模型分类】 必须要会的高频面题

【NLP 面试宝典 之 神经网络】 必须要会的高频面题

【NLP 面试宝典 之 主动学习】 必须要会的高频面题

【NLP 面试宝典 之 超参数优化】 必须要会的高频面题

【NLP 面试宝典 之 正则化】 必须要会的高频面题

【NLP 面试宝典 之 过拟合】 必须要会的高频面题

【NLP 面试宝典 之 Dropout】 必须要会的高频面题

【NLP 面试宝典 之 EarlyStopping】 必须要会的高频面题

【NLP 面试宝典 之 标签平滑】 必须要会的高频面题

【NLP 面试宝典 之 Warm up 】 必须要会的高频面题

【NLP 面试宝典 之 置信学习】 必须要会的高频面题

【NLP 面试宝典 之 伪标签】 必须要会的高频面题

【NLP 面试宝典 之 类别不均衡问题】 必须要会的高频面题

【NLP 面试宝典 之 交叉验证】 必须要会的高频面题

【NLP 面试宝典 之 词嵌入】 必须要会的高频面题

【NLP 面试宝典 之 One-Hot】 必须要会的高频面题

...

BERT 模型面

【NLP 面试宝典 之 BERT模型】 必须要会的高频面题

【NLP 面试宝典 之 BERT变体】 必须要会的高频面题

【NLP 面试宝典 之 BERT应用】 必须要会的高频面题

...

LLMs 微调面

【NLP 面试宝典 之 LoRA微调】 必须要会的高频面题

【NLP 面试宝典 之 Prompt】 必须要会的高频面题

【NLP 面试宝典 之 提示学习微调】 必须要会的高频面题

【NLP 面试宝典 之 PEFT微调】 必须要会的高频面题

【NLP 面试宝典 之 Chain-of-Thought微调】 必须要会的高频面题

...