使用ollama运行本地大模型

一、背景

在研发一个AI与传统业务系统结合的产品，需要本地化LLM（大语言模型）环境。所以选择ollama来管理本地LLM，本次学会安装使用ollama。

二、ollama下载安装及使用

1.ollama下载

打开官网去下载

https://ollama.com/download/windows

windows也可以直接点击下面链接

https://ollama.com/download/OllamaSetup.exe

2.windows安装

一路下一步

3.常见操作

（1）下载模型

复制代码

ollama pull qwen2:1.5b

（2）查看已下载模型

复制代码

ollama list

（3）直接在命令行聊天（测试用）

复制代码

ollama run qwen2:1.5b

（4）删除不用的模型

复制代码

ollama rm qwen2:1.5b

（5）导出模型

复制代码

# 1. 查看本地模型
ollama list

# 2. 复制模型到自定义名称（可选，方便识别）
ollama cp qwen2:7b my-qwen2-7b

# 3. 打包整个 Ollama 模型目录（Windows）
# 默认路径：C:\Users\<你的用户名>\.ollama
tar -czf ollama-models-backup.tar.gz C:\Users\你的用户名\.ollama

# Linux/macOS
tar -czf ollama-models-backup.tar.gz ~/.ollama

（6）导入模型

复制代码

# 1. 先安装 Ollama（同版本最好）
# 2. 停止 Ollama 服务
# Windows（PowerShell）
Stop-Service -Name Ollama
# Linux
systemctl stop ollama

# 3. 解压备份包到目标机器的 .ollama 目录
# Windows
tar -xf ollama-models-backup.tar.gz -C C:\Users\你的用户名\
# Linux/macOS
tar -xf ollama-models-backup.tar.gz -C ~/

# 4. 重启 Ollama 服务
# Windows
Start-Service -Name Ollama
# Linux
systemctl start ollama

# 5. 验证
ollama list

三、用api测试工具测试

1.生成向量

POST http://localhost:11434/api/embeddings

请求demo

javascript 复制代码

{
  "model": "qwen:0.5b",
  "prompt": "洋芋 5斤 袋装"
}

2.问答判断

POST http://localhost:11434/api/generate

请求demo

javascript 复制代码

{
  "model": "qwen2:1.5b",
  "prompt": "你是个哲学程序员，请用一句话说明你对世界的认知",
  "stream": false
}