大语言模型基础

带电的小王

【大模型基础_毛玉仁】1.5 语言模型的评测评测语言模型生成能力的方法可以分为两类。内在评测(IntrinsicEvaluation)：不依赖具体任务，通过模型输出评测模型的生成能力。

带电的小王

Token：SentencePiece论文阅读--大模型中主流的分词算法更多内容：XiaoJ的知识星球SentencePiece：一种简单且独立于语言的文本分词器和去分词器，主要用于基于神经网络的文本生成系统。

带电的小王

【大模型基础_毛玉仁】2.2 大语言模型架构概览Transformer框架的问世代表着一个划时代的转折点。对并行计算的支持极大地加速了模型的训练过程。其自注意力（Self-Attention）机制提升了模型对序列数据的处理能力，在捕捉长距离依赖关系方面表现出色。

带电的小王

【大模型基础_毛玉仁】1.2 基于RNN的语言模型循环神经网络（RecurrentNeuralNetwork,RNN）是一类网络连接中包含环路的神经网络的总称。