解决llama_index中使用Ollama出现timed out 问题

现象:

bash 复制代码
  File "~/anaconda3/envs/leo_py38/lib/python3.8/site-packages/httpx/_transports/default.py", line 86, in map_httpcore_exceptions
    raise mapped_exc(message) from exc
httpx.ReadTimeout: timed out

代码:

python 复制代码
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.ollama import Ollama

###定义使用的llm,embedding 模型
llm = Ollama(model="yi:34b")
embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-large-zh-v1.5")
Settings.llm = llm
Settings.embed_model = embed_model

## 加载文档
documents = SimpleDirectoryReader("../../data").load_data()
print("documents: ", len(documents))

## 构建index
index = VectorStoreIndex.from_documents(documents, show_progress=True)

## 构建query engine
query_engine = index.as_query_engine()
query = "身长九尺,髯长二尺的人是谁?"

## query
response = query_engine.query(query)
print(f"query:{query}")
print(f"查询结果:{response}")

解决办法是增加timeout时长

python 复制代码
llm = Ollama(model="yi:34b", request_timeout=500)
相关推荐
余衫马5 小时前
大语言模型(LLM)领域细分方向解析
人工智能·语言模型·自然语言处理·llm·领域方向
大模型教程6 小时前
万字详解让大模型写出好代码:上下文窗口的工程化实践
程序员·llm·agent
大模型教程6 小时前
AI大模型从0到1:你的90天蜕变计划,告别小白直通前沿!
程序员·llm·agent
AI大模型6 小时前
RAG彻底爆了!一文读懂其架构演进及核心要点
程序员·llm·agent
阿加犀智能8 小时前
QCS8550运行ModelFarm上的DeepSeek-R1-Distill-Qwen-7B模型
llm
AI大模型9 小时前
用Macbook微调Qwen3!手把手教你用微调给Qwen起一个新名字
程序员·llm·agent
智泊AI11 小时前
Agent(智能体)入门篇 | 什么是agent?
llm
Asthenia04121 天前
给小白讲神经网络:从全连接到注意力机制的铺垫
llm
玄魂1 天前
VChart 官网上线 智能助手与分享功能
前端·llm·数据可视化
Hoking1 天前
LangChain4j集成SpringBoot接入百炼大模型(Qwen)
java·人工智能·spring boot·llm