《从零搭建RAG系统第5天:安装Ollama》

大家好,我是老赵,一名程序员老兵,平时主要从事企业级应用开发,最近打算从零学习、并落地一套完整的RAG检索增强生成系统。不搞虚头理论,全程边学边做,把遇到的问题、踩过的坑、能直接跑通的代码,全都真实记录下来。

前四天我们完成了环境搭建、Milvus部署、文档向量化以及检索匹配并做了结果优化。今天第5天的目标是安装Ollama并在本地运行模型,为RAG的生成环节提供本地LLM服务。

一、今日目标

  • 安装Ollama;
  • 拉取并运行 qwen3:4b 模型;
  • 能通过本地 API 发起推理请求并与检索层对接的基本思路验证。

二、前置准备

  • 操作系统:Windows 10+
  • 基础工具:curl、git、可选的 docker。
  • 硬件:磁盘与内存足够(模型文件通常较大),如计划使用GPU推理需安装对应驱动与CUDA。
  • 网络:首次拉取模型需要访问Ollama的模型源或镜像仓库,确保网络通畅或准备离线模型文件。

三、安装 Ollama(可选路径)

官方安装:请从Ollama官方网站下载windows安装包并进行安装ollama.com/download/wi...,安装后在命令行中运行 ollama --version, 确认ollama可用。

四、拉取并运行 qwen3:4b(示例流程)

以下命令为通用示例,实际命令请以当前Ollama CLI/镜像为准:

  • 拉取模型(示例):
bash 复制代码
ollama pull qwen3:4b
  • 交互运行(临时会话):
bash 复制代码
ollama run qwen3:4b

以下截图展示了运行的结果:

  • 以服务模式启动以供HTTP调用:
bash 复制代码
# 如果 Ollama 提供守护进程或 listen 参数,按官方方法启动并监听本地端口
ollama serve --port 11434

说明:模型名称请严格使用官方 ID(本文使用 qwen3:4b 作为示例)。如出现"找不到模型",请运行 ollama list 或查看官方模型仓库确认可用模型 ID。

五、通过HTTP调用示例

Ollama通过端口11434提供HTTP API,以下为示例请求(请根据实际API字段调整):

bash 复制代码
curl -s -X POST "http://localhost:11434/api/generate" \
 -H "Content-Type: application/json" \
 -d '{
  "model": "qwen3:4b",
  "prompt": "请用中文简要介绍向量检索的基本流程。",
  "max_tokens": 200
 }'

Python 示例(requests):

python 复制代码
import requests
url = "http://localhost:11434/api/generate"
payload = {
    "model": "qwen3:4b",
    "prompt": "请用中文列出 RAG 流程步骤。",
    "max_tokens": 200,
    "stream": False,
}
resp = requests.post(url, json=payload, timeout=300)
print(resp.json())

说明:上面 prompt、max_tokens 等字段为示例,具体字段名请参照当前 Ollama版本的API文档。

六、性能与资源建议

  • 若要低延迟并发推理,优先使用 GPU;
  • 为模型和缓存预留足够磁盘空间和内存;
  • 对高并发请求采用推理队列或限流,避免OOM;
  • 根据业务选择合适模型大小,qwen3:4b 属中等规模,生产场景可根据成本/延迟选择更合适的模型。

七、常见问题与排查

  • 模型拉取失败:检查网络、认证与磁盘空间;
  • 内存不足或OOM:降低并发、换用GPU、或使用更小模型;
  • 服务端口不可达:确认服务已启动并监听正确端口,检查防火墙;

今日小结

  • 本文介绍了在本地安装Ollama、拉取并运行 qwen3:4b 的典型流程,为 RAG的生成环节打好基础。

明日计划(建议)

  • 将检索返回的top-k片段拼接与Prompt模板化,做成可复用组件,然后调用LLM生成问题答案,实现RAG的完整问答流程。

我是老赵,一名程序员老兵,全程真实记录RAG从零搭建全过程。本系列会持续更新,最后整理成完整视频教程+源码+部署手册。

关注 老赵全栈实战,不迷路,一起从0落地RAG系统。

相关推荐
吴佳浩5 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_099 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区10 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔10 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区10 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM12311 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI11 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健11 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV12 小时前
Google 重返第一梯队
人工智能·google·aigc