一、Transformer 架构
Transformer 架构彻底改变了传统序列到序列（Sequence-to-Sequence）模型设计，摆脱了对循环神经网络和卷积神经网络（CNN）的依赖，完全基于自注意力机制建模，在机器翻译、语音识别和对话生成等任务中表现出色，极大提升了处理长序列数据的效率和精度。
核心机制：
- 自注意力：通过查询（Query）、键（Key）、值（Value）三者之间的交互关系，计算序列中每个词的相对重要性，从而捕捉词与词之间的关联性。
- 多头机制：允许多个注意力头并行计算，增强模型提取不同语义特征的能力。
- 位置编码：为输入序列提供位置信息，与输入嵌入维度相同、二者相加后作为模型输入，使 Transformer 在处理无序输入时仍能保留语序信息。
- 整体采用编码器-解码器结构。
二、提示学习
提示学习直接利用在大规模文本上预训练的语言模型，通过设计特定的提示词函数，使模型在小样本甚至零样本情况下适应新任务，在仅有少量标注数据或完全没有标注数据时仍能展现优秀性能。
提示词的设计至关重要：通过定义合适的提示函数明确任务目标或提供背景信息，可引导模型更有效地处理输入并生成期望输出，显著拓宽语言模型的应用范围。
三、人类反馈强化学习
强化学习（RL）是通过与环境互动学习最优决策策略的机器学习方法：智能体通过试错获得奖励信号，不断改进行为策略。但传统强化学习在需要理解人类偏好的任务中，智能体难以自动猜测并适应这些偏好。
人类反馈强化学习（RLHF）结合人类的直观判断与强化学习算法的优势，其核心在于将人类反馈转化为强化学习的奖励信号。典型流程：
- 反馈收集：通过用户与模型的交互，收集对模型输出的反馈，如对文本生成的评分或用户选择更优响应。
- 奖励模型构建：利用反馈数据训练奖励模型，预测某一输出的质量并为每个输出分配奖励值。
- 策略优化：强化学习算法利用奖励模型优化生成策略，智能体在与环境的互动中逐渐学会产生高奖励输出的行为。
四、混合专家模型
混合专家模型（MoE）通过组合多个专家模型提高性能，利用不同专家在特定任务或数据特征上的专业知识，使整体模型在处理多样化输入时表现更优异。其概念源于对神经网络可扩展性和高效性的需求：传统单一模型难以有效捕捉大规模数据的多样性，MoE 通过选择性激活部分专家，在保证计算效率的同时获得更强的表达能力。工作流程：
- 专家网络：包含多个并行的专家网络，每个专家在某一特定领域内训练，可以是相同或不同结构的模型。
- 门控机制：输入数据传入时，门控机制（通常是一个小型神经网络）评估输入特征并生成概率分布，决定激活哪些专家。
- 输出融合：收集被选中专家的输出，通过加权平均等方法融合产生最终输出，权重通常与门控机制输出的概率相关。
- 训练过程：需同时优化专家网络和门控机制；通过反馈信号，门控机制不断学习选择哪些专家能更好处理特定类型的输入。
MoE 特别适用于大规模数据集和复杂任务场景。例如在大语言模型中可根据输入文本特性动态选择最合适的专家，显著提升生成文本的质量和多样性。
五、自监督学习
自监督学习的核心思想是利用未标注的数据自动生成标签进行训练。与监督学习依赖大量标注数据、无监督学习完全不使用标签不同，它从数据本身提取信息生成"伪标签"，使模型在缺乏人工标注的情况下学到有效特征表示。
生成伪标签的典型步骤：先设计自监督任务（如遮盖输入中的某些单词，要求模型预测被遮盖部分，例如句子"自监督学习是一种____方法"中预测被遮盖的词），再对输入数据预处理（文本清理、分词等）；训练中模型通过上下文推断被遮盖的词并更新参数以最小化预测误差。
任务设计原则：其一，任务应与目标任务密切相关，确保所学特征能有效迁移到下游任务（如遮盖语言模型与文本生成高度相关）；其二，任务应能从输入中提取丰富信息、足够复杂，以激励模型深入学习。
自监督学习的核心优势之一是在无标注数据上学到有效表示并迁移到下游任务，使模型在少量标注数据下完成复杂任务，这在数据标注昂贵或稀缺的领域尤有价值。
- 迁移学习：BERT、GPT 等预训练模型先在大规模未标注数据上自监督学习获得丰富语言表示，随后只需少量标注数据微调，即可在文本分类、情感分析、命名实体识别等任务中取得显著提升。
- 自动学习表示：不依赖人工特征工程，通过对数据的多次变换（遮蔽、重构、对比等）学习数据潜在结构，获得高语义信息密度的特征。例如图像领域通过对比学习捕捉图像深层特征，为下游目标检测、图像生成提供基础表示。
- 跨模态学习：以 OpenAI 的 CLIP 为例，通过自监督的对比学习策略，将图像和文本的嵌入表示进行匹配，在无大量标注数据的情况下实现图像与文本对齐，在图像搜索、图像生成等任务中效果良好；还可促进视觉问答（VQA）和图像字幕等视觉-语言任务的发展。
六、大语言模型的泛化能力
自监督训练打底：BERT 采用掩码语言模型（MLM）策略，随机遮盖输入句子中的部分词汇并预测掩码词，从而学到词汇意义、句子结构和上下文关系，即使下游任务训练数据较少也表现出色。
预训练 + 微调双阶段：预训练阶段在大规模文本上学习语言基本规律和上下文信息；微调阶段在特定任务标注数据上进一步调整参数。GPT-4 预训练时接触互联网丰富文本形成强大语言理解能力，微调时即使面对与训练数据分布不同的任务也能迅速适应并产生高质量输出。
多任务学习：模型同时学习多个相关任务，通过共享底层表示将在一个任务中获得的知识迁移到其他任务，在新任务样本稀缺时尤其有效。
七、模型生成基本原理
大语言模型的生成能力建立在概率语言建模之上：通过对海量文本训练，模型学到词与词之间的统计关系，并以此生成符合语法和语义的内容。
生成的基本原理可归结为****条件概率分布建模：****预测当前单词在已知上下文下的条件概率。该分布由模型参数表示、参数由训练数据决定；学习完备后，模型通过逐步采样生成文本：先根据起始文本生成下一个单词，再将其作为输入生成后续单词，直至达到指定长度或终止条件。
常用解码策略：
|--------------|---------------------|-------------------------------|
| 解码策略 | 做法 | 特点 |
| 贪心搜索 | 每次选择当前条件概率最大的词 | 简单高效，但缺乏多样性和创造性，常出现重复内容 |
| 束搜索 | 同时保留多个概率较高的生成路径 | 平衡生成质量和多样性，但计算复杂度高，对长文本效果提升有限 |
| 随机采样 | 根据概率分布随机选词，结合温度系数调整 | 温度高时倾向多样化；温度接近零时生成趋于确定性 |
生成能力得益于架构与训练机制：Transformer 的自注意力机制可动态关注上下文中相关的词，确保生成内容的逻辑连贯性和语义一致性；GPT 系列通过无监督的自回归语言建模训练，优化了生成内容的流畅性和质量。
生成面临的挑战：避免重复冗余内容、控制生成内容的逻辑一致性、提高文本的真实性和可信度。改进技术包括知识增强生成和检索增强生成等。