大模型核心概念科普

1.概述

最近大模型的发展成星火燎原之势,越来越多的人开始关注并学习使用大模型相关知识。本文将讲解关于大模型使用或开发中的一些基础概念,帮助读者更好理解相关概念。

2.核心概念

2.1 LLM(Large Language Model)

中文名称:大型语言模型,也称大语言模型,是使用大量文本数据训练的深度学习模型,能够生成自然语言文本或理解语言文本的含义。它基于transformer架构,由Google研究人员在论文《Attention is All You Need》提出概念,再由OpenAI发展出第一个真正可用级的大模型GPT。大型语言模型中的"大型"主要指的是庞大的参数量(通常在数十亿至数万亿级),通常采用自监督机器学习方案,从而能够基于海量无标注的文本进行训练。大语言模型转为自然语言处理任务而设计,尤其适用于语言生成。目前也有很多LLM也被训练为多模态,能够处理或生成其他类型的数据,例如图像、音频、视频等。

2.2 token

token的中文翻译为词元,因为大模型的本质是一个庞大的矩阵运算,接收的是数字,输出的也是数字,因此就需要能找到一种方法把原始输入的文本转化为数字,同时能把大模型输出的数字映射成文本,这就是分词器(Tokenizer)所做的事情。token其实是模型自己具备的一套文本切分规则,不同的模型可能稍有区别,平均来说一个token大概对应0.75个英文单词,1.5-2个汉字。

2.3 RAG(Retrieval-Augmented Generation)

RAG的中文翻译为检索增强生成,是一种利用来自私有或专有数据源的信息来补充文本生成的技术。它将旨在搜索大型数据集或知识库的检索模型与大型语言模型 (LLM) 等生成模型相结合,后者获取该信息并生成可读的文本响应。检索增强生成可以通过添加来自其他数据源的上下文并通过培训补充 LLMs 的原始知识库来提高搜索体验的相关性。 RAG对于问答和内容生成类的任务有较高效率,它能够使用外部信息源来生成更准确和上下文感知的响应,它实现搜索检索方法(通常是语义搜索或混合搜索)来响应用户意图并提供更相关的结果。

2.4 MCP(Model Context Protocol)

MCP中文翻译为模型上下文协议,它的出现旨在为AI工具与外部环境提供一个标准化接口,使AI工具能够连接外部数据源或工具,从而获取到上下文并执行具体任务。

2.5 Agent

Agent是以LLM为核心,具备自主规划(Planning)、工具调用(Tool Use)和记忆(Memory)能力,它能够将复杂任务进行拆分成可执行的步骤,循环执行并感知反馈、持续演进直至任务完成,实现任务的自主执行。它不再是被动地接受指令,而是像人类一样,自主接受、规划、执行、修正等,实现任务闭环。

2.6 Skill

简单来说,skills是一个结构化的本地文件,封装了特定技术任务的标准化可复用模块,用来补充某个领域的流程、知识和工具,让模型在相关场景下自动或按需加载,解决了重复开发、流程不规范、Prompt调试繁琐等问题,是面向大模型的能力封装。主要包含说明文件skill.md(核心)、规则/流程文档、模版/示例、脚本/工具文件、参考资料等内容组成。

2.7 ReAct

ReAct其实是Reason(推理)和Act(行动)两个词的结合,当获取到任务时,它会先判断当前信息是否足够,如果不够会调用工具、执行响应动作进行信息获取,等获取到结果之后,进一步推理下一步如何执行,如此循环,直至任务完成。

2.8 Harness工程(Harness Engineering)

Harness Engineering中文翻译为驾驭工程,简单理解就是:一个AI Agent系统,除了大模型本身之外的所有东西,都属于Harnerss。它是给AI Agent设计工作环境的一套工作方法,包括一些规则约束(权限控制等)、工具与集成、监控可观测(日志观测等)、验证反馈回路(评审和反馈回路)、任务调度等,目的是为了让Agent在真是工程系统中更可靠、更可控,并持续完成任务。

LangChain提出:Agent = Model + Harness,模型是大脑,负责思考与反馈,Harness是操作系统,提供环境、工具、约束、记忆与纠错能力。单独的大模型不能算Agent,没有Harness,再强的模型也无法稳定落地。只有LLM被放入一个设计好的Harness中,才能有工具可用、有上下文可参考、有边界可遵循,它才能真正成为能完成任务的Agent。

3.小结

1.本文整理了大模型的一些核心概念,帮助大家更好的理解相关概念。

2.驾驭工程是继提示词工程(Prompt Engineering)、上下文工程(Context Engineering)后第三大工程,逐步演进使大模型变得更为可靠的生产工具。提示词强调的是怎么和模型说,上下文工程强调的是模型需要知道哪些内容,驾驭工程强调的是整个AI系统该如何可靠运转。

4.参考文献

1.维基百科

2.https://zhanghandong.github.io/harness-engineering-from-cc-to-ai-coding/

3.https://openai.com/zh-Hant/index/harness-engineering/

相关推荐
wyy185100737285 小时前
双路并行:一套匹配算法如何解决中文制单的两大核心难题
算法·ai·crm·crm系统
孟林洁6 小时前
Java转AI应用开发速成(3)—— 第一个 SpringAI 聊天应用
java·spring boot·后端·ai·机器人
PM老周6 小时前
Agentic AI 如何提升项目决策速度?实践方法详解
ai·项目管理·agentic ai·项目决策
weixin_468466857 小时前
PaddlePaddle 深度学习框架实战应用指南
人工智能·深度学习·机器学习·ai·paddlepaddle
龙骑士baby8 小时前
重建 AI 认知第 3 篇:Prompt Engineering——怎么让 AI 听懂你的话
ai·大模型·llm·prompt
心疼你的一切8 小时前
Llama.Cpp 本地大模型极速部署与调用指南
人工智能·ai·aigc·llama
zhojiew8 小时前
基于OpenLIT实现三层 LLM Agent 可观测性的实践
ai
土星云SaturnCloud8 小时前
基于 YOLOv8 + ByteTrack 的冷库叉车智能出入库监管系统设计
人工智能·ai·边缘计算
YueJoy.AI8 小时前
AI应用的容器化部署:从Docker到Kubernetes
人工智能·ai·语言模型