GPT工作机制
单字接龙是一种基于语言文字的游戏形式，在 GPT 的情境下，可以理解为模型按照单字接龙的规则生成文本。
规则遵循：以前一个单词的最后一个字作为下一个单词的开头进行文字接续。例如，用户输入 "水果"，模型需要以 "果" 字开头生成一个新的单词，如 "果实"，然后以 "实" 字开头继续生成，如 "实现"，依此类推。
模型实现方式 ：GPT 在进行单字接龙时，依然基于其预训练所学到的语言知识和推理能力。在推理过程中，模型会根据输入的接龙单字，从其庞大的语言知识库中搜索以该字开头且符合语法和语义逻辑的单词。模型生成的接龙单词不仅要满足单字开头的规则，还要在整个生成的文本语境中保持合理和连贯。例如，在接龙过程中，生成的单词序列 "水果 - 果实 - 实现 - 现金 - 金属"，不仅每个单词符合接龙规则，而且从整体语义上也相对连贯，符合一般的语言表达习惯。
应用与意义：单字接龙可以用于娱乐，为用户提供趣味性的交互体验，同时也能展示 GPT 对语言的理解和运用能力。此外，它还可以作为一种语言学习和训练的方式，帮助用户锻炼语言思维和词汇积累。例如，对于学习中文的外国学生来说，通过与 GPT 进行单字接龙游戏，可以加深对汉字和词汇的理解与记忆。
GPT 构建构建流程
自监督预训练 (Unsupervised pre-training)
核心思路：GPT 自监督预训练的核心是利用前文的 k 个词（token）预测第 k + 1 个词。模型会在海量多样化文本数据上进行训练，这些数据涵盖各种体裁、领域和语言风格，如新闻报道、小说、学术论文、社交媒体帖子等。在训练过程中，模型将文本分解为一个个 token，例如对于英文文本，token 可以是单词或子词；对于中文文本，token 可以是汉字或词语。以句子 "I love natural language processing" 为例，token 可能是 "I""love""natural""language""processing"。模型根据前文的 token 序列，如 "I love natural language"，预测下一个 token "processing"。通过不断调整模型参数，使其预测结果尽可能接近真实的下一个 token，从而学习到语言的统计规律、语义关系和语法结构。
构建长文本能力：Transformer 架构中的自注意力机制对构建长文本处理能力至关重要。自注意力机制允许模型在处理每个 token 时，同时关注文本中其他所有 token 的信息，而不仅仅局限于局部上下文。这使得模型能够有效捕捉长距离依赖关系，理解长文本中不同部分之间的语义联系。例如，在处理长篇小说中复杂的人物关系和情节发展时，模型可以通过自注意力机制整合分散在不同段落中的信息，从而更好地把握整个故事的逻辑。随着预训练的进行，模型逐渐学会在长序列文本中识别重要信息，并利用这些信息进行准确的预测，从而具备处理和生成连贯长文本的能力
有监督微调/指令微调 (Supervised Fine-tuning/Instruction Tuning)
高质量训练数据 ：这一阶段使用的训练数据是经过精心整理的高质量集合，其中每个样本都包含用户输入的提示词（Prompt）和对应的理想输出结果。提示词可以是各种自然语言指令或问题，涵盖不同任务类型，如文本摘要、问答、文本生成等。例如，提示词可能是 "总结以下新闻报道的主要内容"，并附上一篇新闻文章，对应的理想输出就是该新闻报道的准确摘要。这些数据通常由人工标注或经过严格筛选，以确保其准确性和一致性。
微调过程：基于预训练模型，使用这些高质量数据对模型进行微调。在微调过程中，模型的参数会根据新数据进行调整，使得模型能够更好地适应特定任务和用户指令。相比于预训练阶段，微调时学习率通常会设置得较低，以避免过度改变预训练模型学到的通用语言知识。通过有监督微调，模型学会根据输入的提示词生成符合预期的输出，从而提高在实际应用中的性能和准确性。
奖励建模(Reward Modeling)
构建评估模型 ：奖励建模旨在构建一个能够评估文本质量的模型。这个评估模型的输入是生成的文本，输出是一个表示文本质量的分数，分数越高表示文本质量越好。评估模型通常基于人类反馈进行训练，即让人类评估者对模型生成的文本进行打分或排序，这些评估结果作为训练数据来训练奖励模型。例如，对于同一问题的多个生成回答，人类评估者根据回答的准确性、完整性、连贯性等方面进行打分，奖励模型学习这些打分模式，从而能够自动对新生成的文本进行质量评估。
评估指标：奖励模型考虑多个维度的评估指标。在生成文本的准确性方面，评估模型会判断生成内容是否与事实相符、是否回答了问题的核心；连贯性方面，检查文本在语义和逻辑上是否通顺，前后语句是否连贯；相关性方面，确保生成内容与输入提示词紧密相关，没有偏离主题。此外，还可能考虑文本的语法正确性、语言丰富度等因素。通过综合这些指标，奖励模型能够给出一个较为全面的文本质量分数，为后续强化学习提供有效的反馈信号。
强化学习（无监督）
策略网络与环境交互 ：在 GPT 构建流程中，强化学习以无监督的方式进行，模型（策略网络）与环境进行交互。这里的环境可以理解为输入的提示词和模型生成文本的过程。模型根据输入的提示词生成文本，就如同在环境中采取行动。生成的文本通过奖励模型得到一个奖励分数，这个分数作为环境对模型行动的反馈，指示模型生成的文本质量高低。例如，模型根据 "写一篇关于旅游的短文" 这一提示词生成文本后，奖励模型根据文本的质量给出一个奖励分数。
参数更新：模型根据奖励信号调整自身参数，以最大化累积奖励。具体来说，强化学习算法（如近端策略优化算法，PPO）会计算策略网络的梯度，使得策略网络朝着能够获得更高奖励的方向更新参数。在每次迭代中，模型会尝试不同的生成方式，通过奖励反馈不断改进生成策略。例如，如果生成的文本获得较高奖励，模型会倾向于保持或强化与这种生成方式相关的参数；如果奖励较低，模型会调整参数以改变生成策略。经过多次迭代，模型逐渐学会生成高质量的文本，以满足用户的需求和期望。这种无监督强化学习过程进一步优化了模型在实际应用中的性能，使其能够根据不同的输入提示词生成更符合要求的文本。
token是什么？
在自然语言处理（NLP）尤其是大模型的语境下，理解 token 至关重要。
什么是 token
基本定义 ：token 是文本处理过程中的基本单元 。它可以是一个完整的单词，比如英文中的 "apple""book"，中文里的 "苹果""书本"；也可能是标点符号，像 "，""。""！"；或者是由空格分隔的文本片段，特别是在处理一些包含特殊字符或短语时，如 "New York" 会被看作一个或多个 token 。从本质上讲，token 是大模型处理文本时的最小离散单元，所有文本都能由一系列 token 组合而成，类似于人类语言理解中的 "单词" 概念，只不过它的界定更为灵活，以适应不同语言和文本处理的需求。
token 在不同语言中的特点
英文语料 ：在英文中，token 与单词的关系较为密切，但并非完全等同。由于英文存在很多复合词、词缀变化以及一些特殊的语言表达，有时一个单词可能会被拆分成多个 token，或者几个单词组合成一个 token。一般经验规则是 1 个 token 约有 4 个英文字母，这意味着 100 个 token 的长度大约等同于 75 个单词。例如，"internationalization" 这个较长的单词，在进行 token 化处理时，可能会被拆分成几个 token；而像 "it's" 这样的缩写，可能被视为一个 token 。这种特性源于英文丰富的词形变化和构词法，使得 token 化过程需要考虑更多语言结构因素。
中文语料：中文里 1 个 token 绝大部分情况对应 1 - 2 个字，且以 1 个字居多。这是因为中文以字为基本语义单位，每个汉字都承载着一定的意义。与英文不同，中文词与词之间没有天然的空格分隔，因此 token 化方式相对简单直接，通常以单个汉字作为 token。例如，"我喜欢自然语言处理" 这句话，可能会被 token 化为 "我""喜""欢""自""然""语""言""处""理"。当然，对于一些固定词组或常用搭配，也可能将其作为一个 token 处理，比如 "自然语言" 可能会被当作一个整体 token。这种以字为主的 token 化方式，与中文的语言结构和书写习惯紧密相关，有助于模型更好地捕捉中文文本中的语义信息。
token 化的作用
文本向量化 ：在大模型处理文本之前，需要将文本转换为计算机能够理解的数值形式，即向量化。token 化是实现这一过程的第一步，将文本分割为 token 后，每个 token 可以被映射到一个唯一的标识符或向量表示，使得文本能够以结构化的方式输入到模型中进行处理。例如，通过词嵌入（word embedding）技术，每个 token 可以被映射到一个低维向量空间中的点，这些向量能够捕捉 token 的语义信息，从而让模型能够基于向量运算理解文本的语义和语法关系。
提高处理效率：合理的 token 划分有助于提高模型的处理效率和准确性。对于大模型来说，处理过长的文本序列会增加计算成本和内存需求，并且可能导致梯度消失或爆炸等问题。将文本分割为合适大小的 token，可以使模型在处理文本时更加高效，同时通过学习 token 之间的关系，更好地捕捉文本的语义和结构信息。例如，在处理长篇文章时，token 化能够将文章分解为一个个易于处理的单元，模型可以逐步处理这些单元，并通过自注意力机制等方式捕捉它们之间的长距离依赖关系，从而更准确地理解文章的整体含义。