25 Ollama 本地部署

Ollama 本地部署

复制代码
云端	现在
请求发送到 DeepSeek / SiliconFlow 服务器
请求发送到本机 localhost:11434
需要 API Key,按 token 收费
无需 API Key,免费无限次
速度受网络影响
速度受本机 GPU/CPU 影响

Ollama 是什么

Ollama 是一个本地 LLM 运行时------你在本机启动一个 HTTP 服务,它负责加载模型、推理、返回结果。接口格式与 OpenAI 完全兼容.

复制代码
用户 Python 代码
    ↓ HTTP POST /api/chat
Ollama 服务(localhost:11434)
    ↓ 推理
本地模型文件(~/.ollama/models/)

三个核心概念

  1. Ollama 服务:后台常驻进程,类似数据库服务,负责加载和运行模型。

  2. Model Tag:模型名+版本,格式 名称:参数量。例如 qwen2.5:1.5b 表示 Qwen2.5 的 15亿参数版本(约 1GB,CPU 可跑)。

  3. ChatOllama:LangChain 专门封装的 Ollama 客户端,用法与 ChatOpenAI 几乎一致。

安装步骤

第一步:安装 Ollama

去 ollama.com 下载 Windows 安装包,安装后 Ollama 自动在后台运行。

验证:

复制代码
ollama --version

第二步:拉取一个小模型

复制代码
ollama pull qwen2.5:1.5b

qwen2.5:1.5b 只有约 1GB,CPU 可以跑,适合测试。拉完后验证:

复制代码
ollama list

第三步:安装 Python 依赖

复制代码
pip install langchain-ollama

示例代码:

py 复制代码
from datetime import datetime

from langchain_core.messages import HumanMessage
from langchain_ollama import ChatOllama


def main():
    model_name = "qwen2.5:1.5b"
    time_begin = datetime.now()
    llm = ChatOllama(model=model_name, client_kwargs={"trust_env": False})
    result = llm.invoke([HumanMessage(content="你好。")])
    print(result.content)
    print(f"Model: {model_name}, 耗时: {datetime.now() - time_begin}")


if __name__ == "__main__":
    main()
相关推荐
goehou3 天前
两台 Mac 拼成推理池,加机器不加内存
mac·集群·ollama·本地推理
武雄(小星Ai)7 天前
Ollama报llama-server binary not found排坑实录:服务活着引擎没了
人工智能·windows·大模型·ollama·排坑
goehou8 天前
Ollama 的流式接口不是 SSE,客户端要改三处
sse·ollama·流式输出·客户端开发
n1121214 天前
Ollama 接 Open WebUI 中文界面:我踩的 4 个坑
云原生·eureka·ollama·本地大模型·open webui·私有部署·中文界面
一枕槐安48716 天前
开源大模型 Llama3 本地部署全过程,Ollama 上手
开源·本地部署·大模型推理·ollama·llama3·modelfile
死磕音视频18 天前
Open WebUI 入门:用 Docker 装上本地对话界面并连接 Ollama
docker·ollama·本地大模型·open webui
xzlAwin20 天前
Win10 安装 Ollama 本地AI
ai·ollama
还卿一钵无情泪22 天前
PEFT-Transformers、Unsloth、LLaMA-Factory 微调框架 横向对比
深度学习·大模型·llama·ollama
读完一本书22 天前
Ollama 跑得慢?我试了 6 个参数,只有 3 个真有用
人工智能·ollama
Flynn Liang22 天前
保姆级|Spring AI 2.0 第一个 Demo:Spring Boot 4 接入大模型(含国内可用方案 + 完整 pom)
人工智能·spring·ollama·springai·deepseek·springai入门·java接入大模型