mac测试ollama llamaindex

LlamaIndexs 将大语言模型和外部数据连接在一起的工具。大模型prompt有一个长度限制，当外部知识的内容超过这个长度，无法同时将有效信息传递给大模型，因此就诞生了 LlamaIndex。

具体操作就是通过多轮对话的方式不断提纯外部数据，达到在有限的输入长度限制下，传达更多的信息给大模型。

本文在mac平台验证ollama llamaindex，假设ollama已安装，mac安装ollama安装参考

在mac m1基于ollama运行deepseek r1_m1 mac deepseek-r1-CSDN博客

1 llama-index运行环境搭建

环境向量搭建

conda create -n llama-index python=3.12

conda activte llama-index

pip install llama-index

chromadb依赖

pip install llama-index-llms-ollama

pip install llama-index-embeddings-ollama

pip install llama_index-vector_stores-chroma

开源向量存储

pip install chromadb

ollama embedding模型下载

由于mac本地计算能力有限，所以使用qwen3:1.7b小模型。

ollama pull yxl/m3e

ollama pull qwen3:1.7b

ollama list

2 向量本地化 & 自定义查询

以pdf文件"长安的荔枝- 马伯庸.pdf"为例(可以替换为其他PDF书籍)，通过llama_index读取为documents，为减少计算量，取前10个子document。

docs/长安的荔枝- 马伯庸.pdf

documents向量本地目录为./chromadb_v0

rm -rf ./chromadb_v0

mkdir -p ./chromadb_v0

向量集合名称为"llama_index_test"

本地向量化代码如下

复制代码

import chromadb
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, get_response_synthesizer, Settings
from llama_index.llms.ollama import Ollama
from llama_index.embeddings.ollama import OllamaEmbedding
from llama_index.core.node_parser import SentenceSplitter
from llama_index.vector_stores.chroma import ChromaVectorStore
from llama_index.core import StorageContext


Settings.embed_model = OllamaEmbedding(model_name="yxl/m3e:latest")
Settings.llm = Ollama(model="qwen3:1.7b", request_timeout=360)

documents = SimpleDirectoryReader("docs").load_data()
documents = documents[:10]
print(f"documents: {len(documents)}")

db = chromadb.PersistentClient(path="./chromadb_v0")
chroma_collection = db.get_or_create_collection("llama_index_test")
vector_store = ChromaVectorStore(chroma_collection=chroma_collection)
storage_context = StorageContext.from_defaults(vector_store=vector_store)

index = VectorStoreIndex.from_documents(
    documents, storage_context=storage_context, transformations=[SentenceSplitter(chunk_size=256)]
)

print(index)

然后是自定义查询，prompt="李善德"

复制代码

import chromadb
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, get_response_synthesizer, Settings
from llama_index.vector_stores.chroma import ChromaVectorStore
from llama_index.core import StorageContext
from llama_index.llms.ollama import Ollama
from llama_index.embeddings.ollama import OllamaEmbedding
from llama_index.core.retrievers import VectorIndexRetriever
from llama_index.core.query_engine import RetrieverQueryEngine

Settings.embed_model = OllamaEmbedding(model_name="yxl/m3e:latest")  
Settings.llm = Ollama(model="qwen3:1.7b", request_timeout=720)  

db = chromadb.PersistentClient(path="./chromadb_v1")
chroma_collection = db.get_or_create_collection("llama_index_test")
vector_store = ChromaVectorStore(chroma_collection=chroma_collection)
storage_context = StorageContext.from_defaults(vector_store=vector_store)

index = VectorStoreIndex.from_vector_store(
    vector_store, storage_context=storage_context
)

retriever = VectorIndexRetriever(
    index=index,
    similarity_top_k=5,  # 返回最相似的前 n 个文档片段
)

response_synthesizer = get_response_synthesizer()

query_engine = RetrieverQueryEngine(
    retriever=retriever,
    response_synthesizer=response_synthesizer,    
)

response = query_engine.query("李善德")
print(response)  # 输出查询结果

llama_index的回复如下。

<think>

</think>

李善德是《长安的荔枝》一书中的一位重要角色，他因在官场中表现出的忠诚与谨慎，而逐渐被世人所知。他曾在多个衙署任职，包括司农寺和上林署，负责处理各种政务事务。在一次重要的政务活动中，他被圣人指派为荔枝使，负责运输珍贵的荔枝，这一职位对他来说具有极大的意义。他的经历展现了他在官场中的沉稳与担当，也体现了他在复杂的政治环境中所展现出的智慧与忠诚。

可见，llamaindex，借助外部知识库chromadb，和向量检索，找到知识库中最相关内容，然后通过大模型将这些内容提纯为最终答案。

reference

ollama - qwen3:1.7b

https://www.ollama.com/library/qwen3:1.7b

Ollama LLM llamaindex

https://docs.llamaindex.ai/en/stable/examples/llm/ollama/

RAG+Agent 实战 llama-index+ollama 本地环境构建rag、agent

https://blog.csdn.net/yierbubu1212/article/details/142718139