AI 基础知识

Agent

  • Agent 其实就是由大语言模型自己驱动的一个 能够自主决策、任务执行 的系统,它就相当于一个智能的私人助理,它可以使用 RAG/Function call 等工具。

  • 比如说 我们给大模型一个目标,它自己就能拆解任务、查信息、返回结果,有自己的行动力。

RAG

  • RAG:检索增强生成,通过结合LLMs的内在知识和外部数据库的非参数化数据,提高了模型在知识密集型任务中的准确性和可信度。
  1. 本地文件通过文本嵌入为特征向量,存入Faiss等向量数据库
  2. 当查询Query时,通过查询向量Query Vector跟向量数据库进行相似度匹配,将相关文本块组合,通过提示词模板处理,输入大预言模型LLM,得到更符合要求的回答结果!(根据某些场景提供的文件构建向量数据库,得到更符合场景需求的回答结果)

Function Call

  • Function Call 就是大模型可以请求执行 外部预先定义的工具、函数,就相当于 Agent 执行具体动作手段

  • 比如说,大模型自己不能发邮件、不能查今天的新闻、天气,那么它就可以请求、指挥其他的工具去做这些事。

MCP

  • MCP 就更像一个统一的标准,把 AI 和外部工具调用的通信协议 给标准化了,就相当于 ai 界的 restful 一样,属于 agent 调用大模型的底层标准

向量数据库

向量数据库的工作流程可拆解为五步,核心是将非结构化数据转化为可计算、可检索的向量形式:

  1. 数据处理:清洗数据(去噪、归一化)、标注元数据(如标签、时间)。
  2. 向量化:用AI模型(如BERT、ResNet)提取特征,生成高维向量。
  3. 向量存储:将向量与原始数据关联,存入分布式存储(如分块存储)。
  4. 索引构建:用HNSW、LSH等技术组织向量,建立高效检索结构。
  5. 相似性检索:输入目标向量,通过索引快速返回Top-K近似结果。

Faiss

Faiss使用(内存上)

  1. 常用的功能包括:索引Index,PCA降维、PQ乘积量化。
  2. 有两个基础索引类Index、IndexBinary。

索引选择:

  1. 精度高,使用IndexFlatL2,能返回精确结果。
  2. 速度快,使用IndexIVFFlat,首先将数据库向 量通过聚类方法分割成若干子类,每个子类用类中心表示,当查询向量来临时,选择距离最近的类中心,然后在子类中应用精确查询方法,通过增加相邻的子类个数提高索引的精确度。
  3. 内存小,使用IndexIVFPQ,可以在聚类的基础上使用PQ乘积量化进行处理,对向量进行压缩。
相关推荐
不过普通话一乙不改名3 小时前
第一章:Go语言基础入门之函数
开发语言·后端·golang
豌豆花下猫4 小时前
Python 潮流周刊#112:欢迎 AI 时代的编程新人
后端·python·ai
Electrolux4 小时前
你敢信,不会点算法没准你赛尔号都玩不明白
前端·后端·算法
whhhhhhhhhw5 小时前
Go语言-fmt包中Print、Println与Printf的区别
开发语言·后端·golang
ん贤5 小时前
Zap日志库指南
后端·go
Spliceㅤ5 小时前
Spring框架
java·服务器·后端·spring·servlet·java-ee·tomcat
IguoChan5 小时前
10. Redis Operator (3) —— 监控配置
后端
Micro麦可乐7 小时前
前端与 Spring Boot 后端无感 Token 刷新 - 从原理到全栈实践
前端·spring boot·后端·jwt·refresh token·无感token刷新
方块海绵7 小时前
浅析 MongoDB
后端
中东大鹅7 小时前
SpringBoot配置外部Servlet
spring boot·后端·servlet