1、大模型的回答工作流程
1、输入文本分词化
- 分词（token）是大模型处理文本的基本单元，通常是词语，词组或者符号
2、token向量化
- 计算机无法理解文字，因此需要将token转换成数据，此过程即为向量化
3、大模型推理
- 大模型通过已有的训练来进行推理，它会计算所有可能token的概率，得到候选token的概率集合，大模型通过计算选出一个token作为下一个输出
4、输出token
- 大模型根据候选token的概率进行随机挑选，，可以通过temperature和top_p这两个参数来调整内容随机性
5、输出文本
- 将token输出为文字
2、影响大模型内容生成的随机性参数
1、temperature（0 - 2）
temperature是一个调节器，它通过候选token的概率分布，影响大模型的内容生成，通过此参数，可以灵活的控制生成文本的多样性和创造性
-
明确答案：调低参数（0.8 -> 0.6 -> 0.3）
-
创意多样：调高参数（0.1 -> 0.7 -> 1.2）
-
无特殊需求默认即可
**注：**当 temperature=0 时，虽然会最大限度降低随机性，但无法保证每次输出完全一致
2、top_p
控制候选token集合的采样范围，
工作流程：
按概率从高到底排序，选取累计概率达到设定阈值的token组成新的候选集合，从而缩小选择范围
-
值越大：候选范围越广，内容更多样化，
-
值越小：候选范围越窄，输出更稳定
-
极小值（如0.0001）：可能有微小的随机性，无法保证每次输出完全一致
为了确保生成内容的可控性，建议不要同时调整top_p和temperature，同时调整可能输出结果不可预测
3、上下文工程
1、上下文窗口：
- 大模型接收输入（包括指令，问题和背景知识）的地方，被称为上下文窗口，可以理解为计算机的内存
2、上下文工程核心技术：
-
RAG（检索增强生成）：从外部知识库中检索信息，为模型提供精准的回答依据
-
prompt（提示词工程）：通过精心设计的指令，精确的引导模型的思考方式和输出格式
-
tool（工具试用）：赋予模型调用外部工具的能力，以获取实时信息或执行特定任务
-
memory（记忆机制）：为模型建立长短期记忆，能够在连续对话中理解历史上下文
4、RAG（检索增强生成）
第一阶段：建立索引
- 建立索引是为了将私有知识文档或片段转换为可以高效检索的形式，通过将文件内容分割转化为多维向量，并结合向量存储保留文本的语义信息，方便进行相似度计算
第二阶段：检索与生成
- 检索与生成是根据用户的提问，从索引中检索相关的文档片段，这些片段会与提问一起输入到大模型生成最终的回答。
总结：
基于RAG结构的应用，即避免了将整个参考文档作为背景信息输入而导致的各种问题，又通过检索提取出了与问题最相关的部分，从而提高了大模型输出的准确性。