解决llama_index中使用Ollama出现timed out 问题

现象:

bash 复制代码
  File "~/anaconda3/envs/leo_py38/lib/python3.8/site-packages/httpx/_transports/default.py", line 86, in map_httpcore_exceptions
    raise mapped_exc(message) from exc
httpx.ReadTimeout: timed out

代码:

python 复制代码
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.ollama import Ollama

###定义使用的llm,embedding 模型
llm = Ollama(model="yi:34b")
embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-large-zh-v1.5")
Settings.llm = llm
Settings.embed_model = embed_model

## 加载文档
documents = SimpleDirectoryReader("../../data").load_data()
print("documents: ", len(documents))

## 构建index
index = VectorStoreIndex.from_documents(documents, show_progress=True)

## 构建query engine
query_engine = index.as_query_engine()
query = "身长九尺,髯长二尺的人是谁?"

## query
response = query_engine.query(query)
print(f"query:{query}")
print(f"查询结果:{response}")

解决办法是增加timeout时长

python 复制代码
llm = Ollama(model="yi:34b", request_timeout=500)
相关推荐
缘友一世15 小时前
Model Context Protocol (MCP) 安全风险与攻击方式解析
安全·llm·mcp
Baihai IDP15 小时前
2025 年大语言模型架构演进:DeepSeek V3、OLMo 2、Gemma 3 与 Mistral 3.1 核心技术剖析
人工智能·ai·语言模型·llm·transformer
大模型教程20 小时前
本地AI知识库问答开源技术实现(三)--配置模型和知识库
程序员·llm·agent
AI大模型20 小时前
复盘我的第一个 大模型Agent:从核心循环到模块化架构的演进之路
程序员·llm·agent
一个处女座的程序猿1 天前
LLMs之Hallucinate:《Why Language Models Hallucinate》的翻译与解读
llm·幻觉
骑士9991112 天前
llama_factory 安装以及大模型微调
llama
Awesome Baron2 天前
《Learning Langchain》阅读笔记13-Agent(1):Agent Architecture
笔记·langchain·llm
智泊AI2 天前
Transformer 的训练过程是什么样子的?一文讲清:Transformer 的结构及训练过程
llm
聚客AI2 天前
⚠️Embedding选型指南:五步搞定数据规模、延迟与精度平衡!
人工智能·llm·掘金·日新计划
百度Geek说2 天前
大模型评测实践与思考
llm