llama_index简单使用

一.背景

在大模型应用落地过程中，"让大模型理解并利用企业私有数据" 成为核心诉求 ------ 通用大模型（如 GPT、Llama、通义千问等）虽具备强大的自然语言理解能力，但无法直接访问企业本地文档、数据库、API 等私有数据，导致生成的回答缺乏针对性、准确性。LlamaIndex（原 GPT Index）作为轻量级的 "数据接入与索引框架"，能够将私有非结构化 / 结构化数据转化为大模型可高效检索的索引格式，实现 "私有数据 + 大模型" 的融合问答，其简单使用的需求源于企业对大模型应用 "低成本、快速落地、低技术门槛" 的核心诉求。

1.传统大模型对接私有数据的核心痛点

数据接入门槛高，适配成本大企业私有数据分散在文档（PDF/Word/Markdown）、数据库（MySQL/PostgreSQL）、API 接口、Notion/Confluence 等多类载体中，直接让大模型调用这些数据需手动处理数据解析、格式转换、内容提取等工作：例如，要让大模型回答 PDF 文档中的产品问题，需先手动提取 PDF 文本、拆分段落、清理冗余信息，再将文本输入大模型，步骤繁琐且易丢失上下文信息，非技术人员难以完成。
上下文窗口限制，无法处理长文本大模型存在上下文窗口（Context Window）限制（如 GPT-3.5 为 4k/16k tokens，Llama 2 7B 为 4k tokens），无法直接输入万字级以上的长文档。传统方式需人工拆分长文本，不仅耗时，还易破坏文本的逻辑关联，导致大模型回答碎片化、不准确。
检索效率低，回答精准度差若直接将所有私有数据拼接后输入大模型，大模型需遍历全部文本才能定位答案，不仅消耗大量 tokens（增加调用成本），还易出现 "答非所问"；且缺乏针对性的检索机制，无法快速匹配用户问题与相关数据，回答精准度远低于预期。
技术门槛高，难以快速落地对接大模型与私有数据需掌握 Prompt 工程、向量数据库、数据解析等多领域技术，中小企业或非算法团队缺乏相关技术储备，无法快速搭建 "私有数据问答" 能力，导致大模型应用停留在通用问答层面，无法落地到实际业务场景（如企业知识库问答、产品手册咨询、内部文档检索）。

2.LlamaIndex 简单使用的核心价值

LlamaIndex 作为专为大模型设计的 "数据中间层"，其核心定位是 "简化私有数据与大模型的对接流程"，即使是零基础的开发者 / 业务人员，通过简单配置也能快速实现私有数据的检索与问答，解决传统痛点：

一站式数据接入，降低适配成本 LlamaIndex 内置了多类数据源的连接器（Reader），无需手动解析数据：通过几行代码即可一键接入 PDF/Word/Markdown 文档、MySQL 数据库、Notion 等数据，自动完成文本提取、格式标准化、内容清洗。例如，读取 PDF 文档仅需调用 PDFReader，读取数据库仅需配置连接信息，大幅降低数据接入的技术门槛。
自动构建索引，突破上下文窗口限制LlamaIndex 会将接入的私有数据自动拆分为小的 "节点（Node）"（如按段落 / 句子拆分），并构建结构化索引（如向量索引、关键词索引、树形索引）：当用户提问时，先通过索引快速检索与问题最相关的节点，再将这些节点作为上下文输入大模型，既规避了大模型上下文窗口限制，又保留了文本的逻辑关联，提升回答精准度。
轻量化部署，无需复杂架构LlamaIndex 无需依赖复杂的中间件（如独立部署向量数据库），支持 "轻量级索引" 模式（如将索引存储在本地文件、内存中），即使是单机环境也能运行。通过几行核心代码即可完成 "数据接入→索引构建→问题检索→大模型回答" 的全流程，非技术人员也能快速上手
低代码适配，快速落地业务场景LlamaIndex 兼容主流大模型（OpenAI、Anthropic、Llama 2、通义千问、文心一言等），无需修改核心代码即可切换大模型；同时支持简单的参数配置（如调整文本拆分粒度、检索相似度阈值），可快速适配不同业务场景：
- 企业知识库：接入内部文档，实现员工自助式文档检索；
- 客户服务：接入产品手册，让大模型回答客户的产品咨询；
- 个人效率：接入笔记 / 文档，实现私人知识库的智能问答。

3.LlamaIndex 简单使用的典型场景

中小企业知识库问答：无算法团队的中小企业，通过 LlamaIndex 快速接入产品手册、售后文档，搭建智能客服问答系统，替代人工回复常见问题，降低客服成本。
个人 / 团队文档检索：研发 / 运营团队将内部文档（需求文档、技术手册）接入 LlamaIndex，通过自然语言提问快速检索文档内容，提升工作效率。
大模型应用原型验证：产品 / 算法团队通过 LlamaIndex 快速验证 "私有数据 + 大模型" 的可行性，在 1-2 天内搭建原型，评估落地效果后再进行复杂优化。
非结构化数据快速问答：对接 PDF 合同、Word 报告等非结构化文档，无需手动提取文本，直接通过自然语言提问获取文档中的关键信息（如合同金额、报告结论）。

综上，LlamaIndex 简单使用的需求，本质是企业 / 个人在大模型应用落地中对 "低门槛、高效率、低成本" 的必然诉求：它跳过了复杂的技术细节，将 "私有数据接入→索引构建→大模型问答" 的全流程封装为简单的 API / 函数，让非技术人员也能快速实现大模型对私有数据的理解与回答，是大模型从 "通用能力" 走向 "场景化落地" 的轻量化解决方案。

二.具体实现

1.引入依赖

复制代码

from llama_index import GPTVectorStoreIndex, StorageContext,Document
from llama_index import SimpleDirectoryReader,SimpleWebPageReader

2.分割文档存储到向量数据库

复制代码

vector_store = TencentVectorDB(
                        url=self.app.config["KG_TCDB_HOST"],
                        database_name=name,
                        key=self.app.config["KG_TCDB_KEY"],
                        collection_params=CollectionParams(
                            dimension=1536, drop_exists=False, filter_fields=[]
                    ),)



storage_context = StorageContext.from_defaults(vector_store=vector_store)

documents = SimpleDirectoryReader(input_dir="/xxx/xx/data").load_data()

index = GPTVectorStoreIndex.from_documents(documents, storage_context=storage_context)

3.查询数据

复制代码

vector_store = TencentVectorDB(
                        url=self.app.config["KG_TCDB_HOST"],
                        database_name=name,
                        key=self.app.config["KG_TCDB_KEY"],
                        collection_params=CollectionParams(
                            dimension=1536, drop_exists=False, filter_fields=[]
                    ),)

index = GPTVectorStoreIndex.from_vector_store(vector_store=vector_store)

query_engine = index.as_query_engine()
response = query_engine.query(text)