大模型基础_毛玉仁

带电的小王

【大模型基础_毛玉仁】1.5 语言模型的评测评测语言模型生成能力的方法可以分为两类。内在评测(IntrinsicEvaluation)：不依赖具体任务，通过模型输出评测模型的生成能力。

带电的小王

【大模型基础_毛玉仁】2.2 大语言模型架构概览Transformer框架的问世代表着一个划时代的转折点。对并行计算的支持极大地加速了模型的训练过程。其自注意力（Self-Attention）机制提升了模型对序列数据的处理能力，在捕捉长距离依赖关系方面表现出色。

带电的小王

【大模型基础_毛玉仁】1.2 基于RNN的语言模型循环神经网络（RecurrentNeuralNetwork,RNN）是一类网络连接中包含环路的神经网络的总称。