大模型第一章

1、大模型的回答工作流程

1、输入文本分词化

  • 分词(token)是大模型处理文本的基本单元,通常是词语,词组或者符号

2、token向量化

  • 计算机无法理解文字,因此需要将token转换成数据,此过程即为向量化

3、大模型推理

  • 大模型通过已有的训练来进行推理,它会计算所有可能token的概率,得到候选token的概率集合,大模型通过计算选出一个token作为下一个输出

4、输出token

  • 大模型根据候选token的概率进行随机挑选,,可以通过temperature和top_p这两个参数来调整内容随机性

5、输出文本

  • 将token输出为文字

2、影响大模型内容生成的随机性参数

1、temperature(0 - 2)

temperature是一个调节器,它通过候选token的概率分布,影响大模型的内容生成,通过此参数,可以灵活的控制生成文本的多样性和创造性

  • 明确答案:调低参数(0.8 -> 0.6 -> 0.3)

  • 创意多样:调高参数(0.1 -> 0.7 -> 1.2)

  • 无特殊需求默认即可

**注:**当 temperature=0 时,虽然会最大限度降低随机性,但无法保证每次输出完全一致

2、top_p

控制候选token集合的采样范围,

工作流程:

按概率从高到底排序,选取累计概率达到设定阈值的token组成新的候选集合,从而缩小选择范围

  • 值越大:候选范围越广,内容更多样化,

  • 值越小:候选范围越窄,输出更稳定

  • 极小值(如0.0001):可能有微小的随机性,无法保证每次输出完全一致

为了确保生成内容的可控性,建议不要同时调整top_p和temperature,同时调整可能输出结果不可预测

3、上下文工程

1、上下文窗口:

  • 大模型接收输入(包括指令,问题和背景知识)的地方,被称为上下文窗口,可以理解为计算机的内存

2、上下文工程核心技术:

  • RAG(检索增强生成):从外部知识库中检索信息,为模型提供精准的回答依据

  • prompt(提示词工程):通过精心设计的指令,精确的引导模型的思考方式和输出格式

  • tool(工具试用):赋予模型调用外部工具的能力,以获取实时信息或执行特定任务

  • memory(记忆机制):为模型建立长短期记忆,能够在连续对话中理解历史上下文

4、RAG(检索增强生成)

第一阶段:建立索引

  • 建立索引是为了将私有知识文档或片段转换为可以高效检索的形式,通过将文件内容分割转化为多维向量,并结合向量存储保留文本的语义信息,方便进行相似度计算

第二阶段:检索与生成

  • 检索与生成是根据用户的提问,从索引中检索相关的文档片段,这些片段会与提问一起输入到大模型生成最终的回答。

总结:

基于RAG结构的应用,即避免了将整个参考文档作为背景信息输入而导致的各种问题,又通过检索提取出了与问题最相关的部分,从而提高了大模型输出的准确性。

相关推荐
syso_稻草人5 分钟前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
羲云网络1 小时前
GPT Image 2.6 动态表情怎么改:从情绪歧义到动作节奏验收
人工智能·gif·图像编辑
EatFan1 小时前
AI Agent 工程化元年:从单体智能到 Agent 集群的架构演进与落地路径
人工智能·架构·ai agent·autogen·crewai·agent集群·记忆工程
泯泷2 小时前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构
玖米GEO运营王总监2 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
硅谷秋水2 小时前
面向精确到达任务的机器人-对齐3D高斯溅射方法——基于腕部-相机VLA策略
数码相机·机器学习·计算机视觉·3d·机器人
f6m274dww2cmd2 小时前
拆一个类目第一的20个曝光词:43% 的搜索量来自第二页
人工智能
RobinDevNotes3 小时前
24GB Mac 做数字人:声音放本地,画面租云端
人工智能·python·macos·开发工具
龙腾AI白云3 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
user4465117917913 小时前
Agent 也能「过安检」:AgentScope 权限系统设计拆解
人工智能