1. 需要学会的技能
1.1 提示词工程(prompt)
用户提供给人工智能的指令或问题,用于引导和激发模型完成特定任务
1.2 ai agent(智能体)
能感知环境、自主决策并执行动作以实现目标的智能体
- 核心特征: 它具备自主性,无需每一步都由人类指导
- 基本框架: 通常遵循经典的 "感知-规划-行动"
- 感知: 使用工具(如搜索引擎、摄像头、数据库)获取外界信息。
- 规划: 思考如何分解目标并制定步骤
- 行动: 执行具体操作(如调用API、控制机械臂、生成文本)来改变环境
1.3 RAG
通过从外部资源或数据库中纳入相关信息来实现知识的增强,一种通过检索外部知识来增强生成内容准确性和相关性的技术。

1.4 Function Calling
与外部函数或API交互的能力,大语言模型根据用户请求,智能识别并输出结构化参数,以调用外部工具或函数的能力
- 它的角色: 它是大模型(如ChatGPT)与外部世界(如执行代码、查询数据库、调用API)进行交互的"桥梁"和"翻译官"。
- 工作流程: 模型不直接执行函数,而是通过分析你的自然语言指令(例如:"给张三发邮件,提醒他明天下午三点开会"),然后输出一个结构化的JSON对象,其中包含需要调用的函数名(
send_email)和正确的参数(recipient: "张三",content: "..."),最后由其他程序来执行这个函数。
1.5 Embedding
Embedding是将文字、图像或声音等高维复杂数据,转换为一系列低维稠密向量的过程。
- 核心目的: 将人类能理解的符号(如单词、句子)转换成计算机能够理解和计算的数学形式(即向量)。
- 关键特性:
- 语义信息: 在这个向量空间中,语义相近的词语(如"国王"和"皇后")或句子,其向量在空间中的位置也更接近。
- 可计算性: 计算机可以通过计算向量之间的距离或余弦相似度,来判断两段内容的相似性。
1.6 Fine-tuning(微调)
是在预训练模型的基础上,使用特定领域的数据进行额外训练,使其专门化以适应新任务的过程
比喻:老师(开发者)针对学生的特长(模型的潜力),用专门的练习题(领域数据)进行辅导,强化他在特定科目上的能力
1.7 LlamaIndex
一个专为大语言模型(LLM)应用程序设计的数据框架,它能高效地将私有或特定领域的数据与LLM结合起来
这个框架的核心作用是解决LLM在处理外部私有数据时遇到的困难。 它通过一套工具,帮助你轻松地从各种数据源(如PDF、数据库、API)摄取数据,并构建成易于查询的索引结构(例如向量索引)。通俗地说,你可以将它视为连接你的数据 和大语言模型之间的一个"智能桥梁"
1.8 PyTorch
PyTorch是一个基于Python的开源深度学习框架,以其动态计算图和直观易用性而闻名。
为了让您更好地理解,这里有几个关键解读:
- 核心特点: 它提供了强大的GPU加速张量计算功能,并且由于其
动态图(Define-by-Run) 的特性,使得研究和调试模型变得更加灵活和直观。 - 主要应用: 它是目前学术界和工业界最受欢迎的框架之一,广泛用于从研究原型设计到生产部署的整个机器学习生命周期。
- 简单类比: 您可以把它想象成深度学习的"Numpy",但提供了自动求导和导和强大的GPU支持,使得构建和训练复杂的神经网络变得非常简单。
1.9 TensorFlow
TensorFlow是一个由Google开发的端到端开源机器学习平台,以其强大且成熟的生产级部署能力著称。
为了帮助您更好地理解,这里是几点关键解读:
- 核心定位: 它是一个覆盖从研究建模 到产业部署全流程的完整生态系统,而不仅仅是一个库。
- 历史特点: 早期以其独特的静态计算图闻名,虽然现在也支持了动态图(Eager Execution),但其在分布式训练和大规模服务方面的稳定性和性能是其传统优势。
- 组成部分: 除了核心的深度学习框架,还包含了用于移动设备和边缘计算的TensorFlow Lite、用于浏览器环境的TensorFlow.js等一系列工具。
2. 关于AI Agent
2.1 AI Agent介绍
AI Agent 是指人工智能代理(Artificial Intelligence Agent)是一种能够感知环境进行自主理解,进行 决策和执行动作的智能体。AI Agent具备通过独立思考、调用工具逐步完成给定目标的能力。
一个基于大模型的AI Agent系统可以拆分 LLM(大模型)、记忆(Memory)、任务规划(Planning) 以及工具使用(Tool) 的集合。在LLM为基础的AI Agent系统中,大模型为AI Agent系统的大脑负责 计算,并需要其他组件进行辅助。

2.2 多个agen协作
多Agent模型(Multi-Agent Model)是一种分布式人工智能模型,由多个智能体(Agent)组成,每 个Agent都具有自主决策和交互能力,能够相互协作、竞争或协商以完成共同或各自的任务。
