安装和使用 Ollama（实验环境windows）

下载安装

下载

https://ollama.com/download/windows

安装

Windows 安装

如果直接双击 OllamaSetup.exe 安装，默认会安装到 C 盘，如果需要指定安装目录，需要通过命令行指定安装地址，如下：
bash 复制代码
```
# 切换到安装目录
C:\Users\lisiyu>D:
# 执行安装
D:\ollama>OllamaSetup.exe  /DIR="d:\ollama\"
```

设置模型存储路径

要更改 Ollama 存储下载模型的位置，而不是使用你的主目录，可以在你的用户账户中设置环境变量 OLLAMA_MODELS。

如下，先在安装 ollama 目录下创建 models 文件夹，然后在 windows 下设置环境变量：

快捷使用

查看 ollama 版本

bash 复制代码

C:\Users\lisiyu>ollama --version
ollama version is 0.5.7

查看 ollama 已下载模型列表

bash 复制代码

C:\Users\lisiyu>ollama list
NAME    ID    SIZE    MODIFIED

拉取模型

模型列表：https://ollama.com/search

bash 复制代码

PS C:\Users\lisiyu\Desktop> ollama pull deepseek-r1:8b
pulling manifest
pulling 6340dc3229b0...  26% ▕█████████████████████████████████████    ▏ 1.3 GB/4.9 GB  3.5 MB/s  17m32s

运行模型（如果模型未拉取，默认会先执行 pull 拉取）

bash 复制代码

C:\Users\lisiyu>ollama run deepseek-r1:8b
>>> Send a message (/? for help)



# 此时进入对话窗口
# 如果要退出，输入 /bye 执行退出
# 退出后，ollama 也会在后台运行

更多命令，参考帮助说明：

bash 复制代码

C:\Users\lisiyu>ollama help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

Ollama API

默认访问地址：https://localhost:11434 或者 https://127.0.0.1:11434
允许外网访问：

由于默认只能在本机访问，所以，要允许外网访问，要监听 0.0.0.0 地址。

且有些场景需要指定端口。

此时可以通过设置环境变量 OLLAMA_HOST 来定义，如下：
Ollama 支持的 API：

参考官方文档：https://ollama.readthedocs.io/api/

API URL	请求方式	请求参数	响应参数	API 说明	CURL 请求示例
`/api/generate`	`POST`	`model`（模型名称）、`prompt`（提示文本）、可选参数（如 `stream`、`suffix` 等）	`response`（生成的文本）、`tokens`（生成的 token 数量）等	生成文本	`curl http://localhost:11434/api/generate -d '{"model": "llama2", "prompt": "为什么天空是蓝色的？"}'`
`/api/chat`	`POST`	`model`（模型名称）、`messages`（消息列表，包含角色和内容）	`response`（回复内容）、`tokens`（生成的 token 数量）等	聊天对话	`curl http://localhost:11434/api/chat -d '{"model": "llama2", "messages": [{"role": "user", "content": "你好！"}]}'`
`/api/pull`	`POST`	`name`（模型名称）、可选参数（如 `insecure`、`stream` 等）	返回拉取进度或模型信息	拉取模型	`curl http://localhost:11434/api/pull -d '{"name": "llama2"}'`
`/api/delete`	`DELETE`	`name`（模型名称）	返回状态码（`200 OK` 或 `404 Not Found`）	删除模型	`curl -X DELETE http://localhost:11434/api/delete -d '{"name": "llama2"}'`
`/api/tags`	`GET`	无	返回模型列表	获取本地模型列表	`curl http://localhost:11434/api/tags`
`/api/show`	`POST`	`name`（模型名称）、可选参数 `verbose`（是否返回详细信息）	返回模型详细信息，包括 `modelfile`、`parameters`、`template` 等	查看模型信息	`curl http://localhost:11434/api/show -d '{"name": "llama2"}'`
`/api/copy`	`POST`	`source`（源模型名称）、`destination`（目标模型名称）	返回状态码（`200 OK` 或 `404 Not Found`）	复制模型	`curl http://localhost:11434/api/copy -d '{"source": "llama2", "destination": "llama2-backup"}'`
`/api/create`	`POST`	`name`（新模型名称）、`modelfile`（模型文件内容）	返回创建状态或错误信息	创建自定义模型	`curl http://localhost:11434/api/create -d '{"name": "llama2-custom", "modelfile": "FROM llama2\nSYSTEM You are a helpful assistant."}'`

注意

尽管在本地使用 AI 是一个美好的想象，感觉上是免费使用 AI，还不用担心网络卡顿、数据安全。

但实际上，大部分好用的模型，在消费级的机器上，根本跑不了。

能跑的都是很小规模的模型，效果很差。

所以，使用本地化 AI 的前提，一定是要有足够资源的机器。

我的实验机器，是 14 核 32 G，N卡 4080，8G 显存。

目前本地部署的 AI，勉强能用的就是 llama3.2 和 deepseek-r1:8b 感觉还不错。

其他的模型用起来，效果真的不忍直视。

当然，本地这些模型的使用，我没有专门做测评，如果有专门做了测评的朋友，非常欢迎在此分享！