大模型学习4

LlamaIndex

LlamaIndex 是一个用于 LLM 应用程序的数据框架,用于注入,结构化,并访问私有或特定领域数 据。

我们知道数据存在的形式有很多种,比如嵌入到网页中、以api接口的形式存在、以文档的形式存在。如何让AI与这些多样化的数据对接,这是之前AI应用的一个复杂点。LlamaInde就是解决大模型和数据之间的衔接问题

相关组成

LlamaIndex 提供了5大核心工具:

Data connectors:

LlamaIndex通过数据连接器自动把各种各样的数据解析成同一种标准,交付给LlamaIndex。(简单来说就是一个能够解析市面上所有数据格式的插件)

Data indexes:

现在通过Data connectors把数据变成了同一标准的文本。现在要给到大模型做处理之前,要把文本转成向量(文本------>向量)。Data indexes中核心要做的事也就是Vector Store(向量化)通过一个embedding模型将文本转为向量存储下来。向量存储下来之后要拿来使用,再围绕这些向量 构建可快速检索的索引结构 。我们通过索引值就可以之间操作向量。

Engines:

现在我有了大模型可以使用的数据,并且转化为向量的形式存储。接下来大模型就要使用。现在就是通过Engines来加载模型,大模型无非就是去检索和处理数据。Engines中有两个核心的接口query和chat。query是单次的查询,chat可以多轮的对话。Engines就是用来连接大模型的

其实以上三个类就是核心内容,但LlamaIndex本身做了一些扩展。

Data agents:

Data Agents = 「能够"动态"决定调用哪一步工具、查询哪一段数据,并循环"观察-思考-行动"直到任务完成的 LLM 智能体」。

  • Engines 是"静态流水线":人问 → 检索 → 生成 → 答完结束。

  • Agents 是"动态推理机":LLM 可以在运行时

    • 选择调用哪一个 Data Connector(再去外部抓新数据)

    • 选择调用哪一个 Tool(计算器、SQL、API、搜索)

    • 甚至把结果再写回索引或触发下一次检索

      整个流程由 LLM 自己编排,不预先固定。

Application integrations:

LlamaIndex可以接入到一些第三方框架中。可以把这个数据增强接入到其他的第三方框架中做一个辅助的插件。


相关推荐
xian_wwq17 小时前
【学习笔记】Agent 安全护栏 —— 当 Agent DROP TABLE 了你的生产数据库-07/15
笔记·学习·安全
lichuangcsdn17 小时前
【Spring AI 学习(一)】spring ai是什么
人工智能·学习·spring·spring ai
MartinYeung518 小时前
[论文学习]AgentDojo:用于评估LLM智能体提示注入攻击与防御的动态环境
网络·学习
minglie118 小时前
蚂蚁S9矿板PS led驱动的三个实验-第1课 字符设备驱动
学习
江南十四行19 小时前
Maven 学习框架:依赖管理 + 仓库配置 + IDEA 集成
学习·maven·intellij-idea
其实防守也摸鱼19 小时前
镜像校验完成iso完整操作流程(Windows 环境,适配 Ubuntu 22.04 / 24.04)
linux·服务器·windows·学习·ubuntu·教程
艾莉丝努力练剑19 小时前
【MYSQL】MYSQL学习的一大重点:基本查询(下)
android·数据库·学习·mysql·面试·八股文
晓梦林20 小时前
[极客大挑战 2019]Secret File学习笔记
笔记·学习
STLearner20 小时前
ICML 2026 | LLM×Graph论文总结[2]【Graph4LLM,Graph4Agent,智能体记忆(Memory)
大数据·人工智能·python·深度学习·学习·机器学习·数据挖掘
其实防守也摸鱼1 天前
KMP全栈开发:从Android到AI Agent的技术演进与实践
android·运维·网络·人工智能·学习·安全·macos