LLM,Token,Context,Prompt,MCP,Agent等概念

LLM:Large Language Model(大语言模型),简称大模型

底层架构:基于Transformer

工作原理:本质是文字接龙游戏,通过预测下一个概率最高的词生成连续文本

Token:数据处理单元

定义:大模型处理文本的最小单元,通过Tokenizer(分词器)将文本切分为片段

切分原理:基于BPE(字节对编码)算法,模型自主学习的文本切分规则

编码过程:

1.文本切分为Token

2.映射为Token ID(数字)

解码过程:

将Token ID还原为文本(无需切分步骤)

Token与自然语言单位的关系

中文词语 非一一对应,可能被拆分

英文单词 常见词通常对应1个Token

复杂单词 可能被拆分

特殊字符 可能需要多个Token表示

量化参考

1个Token ≈ 0.75个英文单词

≈ 1.5-2个汉字

Context(上下文):临时记忆体

定义:大模型每次处理任务时接收的信息总和,相当于模型的"临时记忆"

组成部分:用户问题、对话历史、当前输出Token、工具列表、System Prompt等

容量限制:由Context Window(上下文窗口)定义,即最大可处理的Token数量

突破Context Window限制的方案

RAG技术(检索增强生成):从知识库中抽取与问题最相关的片段,仅将关键信息送入模型,降低Token消耗

Prompt(指令交互)

Prompt:给大模型的问题或指令,决定模型输出质量

Prompt分类:

1.User Prompt:用户输入的具体任务

2.System Prompt:开发者后台配置的人设与做事规则

Prompt Engineering提示工程

核心原则:清晰、具体、明确

现状:重要性下降(曾经重要) 因为1.门槛低(本质把话说清楚)2.大模型能力提升,可推测模糊意图

Tool(工具):

定义:大模型调用的外部函数,使其能够感知和影响外部环境

解决痛点:弥补大模型无法获取实时信息(如天气),计算能力有限等弱点

工作流程

1.用户提问 -> 平台转发(含工具列表)

2.大模型分析->生成工具调用指令

3.平台执行调用->获取结果

4,大模型整理结果 ->自然语言输出

MCP(模型上下文协议):工具标准化

Model Content Protocol 理解为统一的工具接入标准,解决不同平台工具接入规范不统一的问题。

价值:按照MCP规范开发一次,即可在所有支持MCP的平台使用

Agent:自主决策系统

定义:能够自主规划、自主调用工具,持续工作直至完成用户任务的系统

核心能力:多步骤推理、工具选择、流程控制

代表产品:Claude Code、Codex、Gemin CLI等

典型构建模式:React、Plan and Execute等

Agent Skill:任务定制

定义:给Agent的说明文档,包含任务规划、执行步骤、输出格式等

结构:

1.元数据层:名称(name),描述(description)

2.指令层:目标、执行步骤、判断规则、输出格式、示例

高级特性:支持运行代码、引用资源、采用渐进式披露机制节省Token

技术实现

1.存储形式:Markdown文档(文件名必须为SKILL.md)

2.存放位置:特殊目录(如Claude Code找到用户目录的.claude/skills文件夹)

3.加载机制:仅在用户问题与技能描述/名称相关时加载完整指令

相关推荐
syso_稻草人1 天前
qwen-image-2.1 姿态控制拆解:SDPose 提骨架 + Fun-ControlNet-Union 锁姿势,换人换景不换姿势
人工智能·stable diffusion·prompt·提示词优化·qwen-image
forest_092 天前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
Java后端的Ai之路4 天前
Java并发编程22-Lock接口
java·人工智能·prompt·lock
XLYcmy5 天前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 上
llm·prompt·模糊测试·漏洞修复·漏洞检测·deepseek·消融实验
XLYcmy5 天前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
forest_096 天前
多 Agent 协作第二课:交叉验证≠独立验证
人工智能·python·算法·机器学习·prompt·agi
syso_稻草人6 天前
qwen-image-2.1 PE 增强编辑:QwenImage21_EditPromptRewrite 一句话中文扩写成完整编辑指令
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
zixu_star9 天前
上下文工程:Prompt、记忆和上下文如何管理?
人工智能·prompt
一起学安全技术9 天前
拆大模型 06|Prompt 工程不靠玄学:上下文要当程序写
人工智能·语言模型·prompt·aigc
Java后端的Ai之路10 天前
RAG 还是 Agent 自主检索?Claude Code 删掉向量库之后,我把选型讲透了
开发语言·人工智能·prompt·agent·rag