Ollama 本地部署，Python、SpringAI对接Ollama

什么是Ollama

Ollama类似Maven管理Jar包一样，用来管理大模型。Slogan是：本地化部署大模型最简单的方式。如下图：https://ollama.com/

安装页面，可以选择模型发送消息：

安装

下载有网络问题，很慢。第二个是需要登录，比如Github账号。

配置Github DNS

配置DNS，用github登录访问太慢，配置了host就不需要DNS解析。

Host文件：C:\Windows\System32\drivers\etc\hosts

添加一行：github.com 20.205.243.166

下载安装包

下载：Download Ollama on macOS

下载文件：OllamaSetup.exe 1.6G

安装：双击即可

主页面

选择模型，发送信息（如果没有模型则下载）

Ollama 命令

Ollama 的命令行工具设计得比较清晰，结构类似 Docker ，主要分为模型管理 、运行交互 和服务 / 辅助三大类。

|---------------------|--------------------------------|------------------------------------|----------------------------------------------|
| 类别 | 命令 | 作用 | 使用示例 |
| 模型管理 | ollama pull <模型名> | 从远程仓库下载模型到本地。 | ollama pull llama3.2 |
| | ollama list 或 ollama ls | 列出所有已下载到本地的模型。 | ollama list |
| | ollama rm <模型名> | 从本地删除指定的模型，释放磁盘空间。 | ollama rm llama3.2 |
| | ollama show <模型名> | 查看模型的详细信息（如量化级别、参数等）。 | ollama show llama3.2 |
| | ollama cp <源模型> <目标模型> | 复制一个已有的模型，创建一个新副本。 | ollama cp llama3.2 my-llama |
| 运行交互 | ollama run <模型名> | 最核心的命令。运行模型，进入交互式聊天，或直接执行单次提问。 | ollama run llama3.2 ollama run llama3.2 "你好" |
| | ollama ps | 查看当前正在运行的模型进程及其资源占用。 | ollama ps |
| | ollama stop <模型名> | 停止一个正在运行的模型，释放GPU/CPU资源。 | ollama stop llama3.2 |
| 服务 / 辅助 | ollama serve | 启动 Ollama 的后台服务进程。 | ollama serve |
| | ollama create -f <Modelfile> | 根据 Modelfile 配置文件创建一个自定义模型。 | ollama create my-model -f ./Modelfile |
| | ollama --version 或 -v | 查看当前安装的 Ollama 版本信息。 | ollama --version |
| | ollama --help 或 -h | 在终端中显示所有可用命令的帮助信息。 | ollama --help |

ollama help

Large language model runner

Usage:

ollama $flags$

ollama $command$

Available Commands:

serve Start Ollama

create Create a model

show Show information for a model

run Run a model

stop Stop a running model

pull Pull a model from a registry

push Push a model to a registry

signin Sign in to ollama.com

signout Sign out from ollama.com

list List models

ps List running models

cp Copy a model

rm Remove a model

launch Launch the Ollama menu or an integration

help Help about any command

Flags:

-h, --help help for ollama

--nowordwrap Don't wrap words to the next line automatically

--verbose Show timings for response

-v, --version Show version information

Use "ollama $command$ --help" for more information about a command.

ollama list

ollama rm **

D:\>ollama list

NAME ID SIZE MODIFIED

SmolLm:latest 95f6557a0f0f 990 MB 2 hours ago

deepseek-r1:8b 6995872bfe4c 5.2 GB 4 hours ago

D:\>ollama rm deepseek-r1:8b

deleted 'deepseek-r1:8b'

D:\>ollama ps

NAME ID SIZE PROCESSOR CONTEXT UNTIL

D:\>ollama ls

NAME ID SIZE MODIFIED

SmolLm:latest 95f6557a0f0f 990 MB 2 hours ago

ollama run SmolLm:latest

详情页面：https://ollama.com/library/gemma4

复制命令直接执行：

ollama ps

ollama show SmolLm:latest

D:\>ollama show SmolLm:latest

Model

architecture llama

parameters 1.7B

context length 2048

embedding length 2048

quantization Q4_0

Capabilities

completion

Parameters

stop "<|im_start|>"

stop "<|im_end|>"

temperature 0.2

top_p 0.9

License

Apache License

Version 2.0, January 2004

...

模型

Ollama模型

进入官网：Ollama

选择：Models：

模型选型

值得关注的纯文本模型

这类模型专精于文字理解和生成，适合对话、写作、总结、编程等任务。

|-----------------------------|----------------------------------------------------|-------------------------------------|------------|
| 模型 | 核心特点 & 适用场景 | 推荐版本/ 参数 | 大致硬盘占用 |
| Llama 系列 (Meta) | 社区生态最完善，综合性能非常均衡。Llama 3.1 在推理、代码等任务上表现出色。 | llama3.1:8b (均衡) llama3.1:70b (高性能) | 4.7GB 40GB |
| Qwen 系列 ( 阿里) | 中文能力出众，是处理中文任务的首选之一。最新的 Qwen 3.5 在多模态和纯文本任务上性能都很强。 | qwen3.5 (或 qwen3) | 视具体版本而定 |
| DeepSeek-R1 ( 深度求索) | 以强大的推理能力著称，擅长处理复杂的逻辑和数学问题，是"思考模型"的代表。 | deepseek-r1:7b | 4.7GB |
| Gemma 系列 (Google) | 轻量高效，技术文档扎实，非常适合学术研究和快速部署。 | gemma3:4b (默认) | 3.3GB |
| Mistral (Mistral AI) | 在中等规模下表现突出，创意写作能力很强，适合生成博客、故事等需要文采的内容。 | mistral:7b | 4.1GB |
| Phi 系列 (Microsoft) | 小而精的代表。Phi-4 在参数不大的情况下，性能非常能打，适合资源有限的环境。 | phi4 | 9.1GB |
| GLM 系列 ( 智谱AI) | 面向智能体（Agent）任务优化，在编码和工具调用方面表现出色。 | glm-5.1 | 视具体版本而定 |

专业的图像理解模型 ( 多模态)

这些模型能"看见"图片，进行描述、问答、推理等。

|-----------------------------|--------------------------------------------------------------|--------------------------|------------|
| 模型 | 核心特点 & 适用场景 | 推荐版本/ 参数 | 大致硬盘占用 |
| Llama 3.2 Vision (Meta) | 当前最主流的选择之一。针对视觉识别、图像推理和描述进行了专门优化，性能强劲。 | llama3.2-vision:11b | 7.9GB |
| Qwen3-VL ( 阿里) | 能力非常全面。支持视频理解、高级OCR（光学字符识别）、空间感知，甚至能操作PC/手机GUI，非常适合复杂任务。 | qwen3-vl:235b-cloud (云版) | 云端，本地版待更新 |
| LLaVA | 经典的轻量级多模态模型，上手快，资源占用小，适合快速体验图片问答功能。 | llava:7b | 4.5GB |
| Llama 4 (Meta) | Meta 最新的原生多模态模型系列，使用MoE（混合专家）架构，在图像理解和推理的基准测试上数据很亮眼。 | llama4:scout (109B) | 67GB |

模型参数衡量

这个 "B" 是 "Billion" （十亿） 的缩写，代表的是模型的参数量（ Parameters ）。简单来说，它就像是模型的"脑细胞"数量。

2B = 20亿参数
4B = 40亿参数
12B = 120亿参数

这个数字是衡量模型"规模"和"能力"最核心的指标之一，它的影响可以这样理解：

参数越大（如 12B 、26B ）：模型的"知识储备"更丰富，逻辑推理、理解复杂指令和处理细微差别的能力通常更强，回答质量也更高。但同时，它对显卡（显存）和内存的需求成倍增加，运行和响应速度也会更慢。
参数越小（如 2B 、4B ）：模型更轻量，对硬件要求低，响应速度飞快，非常适合配置普通的电脑或追求快速响应的场景。但它的"智力"上限会受限，处理复杂问题时可能显得不够聪明。

大模型的不同参数

不同参数的显卡内存磁盘经验值

|---------------|-----------------|----------------|--------------------|----------------------------|
| 模型规模 | 推荐显存 (VRAM) | 推荐内存 (RAM) | 硬盘占用 ( 估算) | 参考显卡 ( 消费级) |
| 1B - 3B | 2 - 4 GB | 8 GB | ~3 - 10 GB | 集成显卡 / GTX 1650 |
| 7B - 8B | 6 - 8 GB | 16 GB | ~4 - 8 GB | RTX 3060 (12GB) |
| 13B - 14B | 12 - 16 GB | 32 GB | ~8 - 15 GB | RTX 3080 (10GB) / RTX 4070 |
| 30B - 35B | 20 - 24 GB | 64 GB | ~30 - 50 GB | RTX 3090 / RTX 4090 (24GB) |
| 70B | 40 GB+ | 64 GB+ | ~40 - 100 GB+ | 多卡 (如双RTX 3090) / 专业卡 |

对接Ollama

Python

python 复制代码

from ollama import Client
import json

client = Client()

messages = [
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
]

# 打印模型相关信息
# ('models', [Model(model='SmolLm:latest', modified_at=datetime.datetime(2026, 7, 10, 13, 39, 19, 408800, tzinfo=TzInfo(28800)), digest='95f6557a0f0f1e1d08ba0d426e50de0927dd2b0861a384b193802c551b298c28', size=990741362, details=ModelDetails(parent_model='', format='gguf', family='llama', families=['llama'], parameter_size='1.7B', quantization_level='Q4_0'))])
list1=client.list();
for obj in list1:
    print(obj)

# 流式输出
for part in client.chat('SmolLm:latest', messages=messages, stream=True):
  print(part['message']['content'], end='', flush=True)

Spring AI

参考：https://simao.blog.csdn.net/article/details/162763151?spm=1011.2415.3001.5331

Ollama Docs

Ollama documentation - Ollama

如果有问题，请留言私信