使用ollama运行本地大模型

一、背景

在研发一个AI与传统业务系统结合的产品,需要本地化LLM(大语言模型)环境。所以选择ollama来管理本地LLM,本次学会安装使用ollama。

二、ollama下载安装及使用

1.ollama下载

打开官网去下载

https://ollama.com/download/windows

windows也可以直接点击下面链接

https://ollama.com/download/OllamaSetup.exe

2.windows安装

一路下一步

3.常见操作

(1)下载模型

复制代码
ollama pull qwen2:1.5b

(2)查看已下载模型

复制代码
ollama list

(3)直接在命令行聊天(测试用)

复制代码
ollama run qwen2:1.5b

(4)删除不用的模型

复制代码
ollama rm qwen2:1.5b

(5)导出模型

复制代码
# 1. 查看本地模型
ollama list

# 2. 复制模型到自定义名称(可选,方便识别)
ollama cp qwen2:7b my-qwen2-7b

# 3. 打包整个 Ollama 模型目录(Windows)
# 默认路径:C:\Users\<你的用户名>\.ollama
tar -czf ollama-models-backup.tar.gz C:\Users\你的用户名\.ollama

# Linux/macOS
tar -czf ollama-models-backup.tar.gz ~/.ollama

(6)导入模型

复制代码
# 1. 先安装 Ollama(同版本最好)
# 2. 停止 Ollama 服务
# Windows(PowerShell)
Stop-Service -Name Ollama
# Linux
systemctl stop ollama

# 3. 解压备份包到目标机器的 .ollama 目录
# Windows
tar -xf ollama-models-backup.tar.gz -C C:\Users\你的用户名\
# Linux/macOS
tar -xf ollama-models-backup.tar.gz -C ~/

# 4. 重启 Ollama 服务
# Windows
Start-Service -Name Ollama
# Linux
systemctl start ollama

# 5. 验证
ollama list

三、用api测试工具测试

1.生成向量

POST http://localhost:11434/api/embeddings

请求demo

javascript 复制代码
{
  "model": "qwen:0.5b",
  "prompt": "洋芋 5斤 袋装"
}

2.问答判断

POST http://localhost:11434/api/generate

请求demo

javascript 复制代码
{
  "model": "qwen2:1.5b",
  "prompt": "你是个哲学程序员,请用一句话说明你对世界的认知",
  "stream": false
}
相关推荐
FengY_HYY7 小时前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm
liwulin05069 小时前
【OLLAMA】LangGrahp调用LLM WIKI
react·ollama·llm wiki
学无止境小袁同学1 天前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
不要试图纠正别人1 天前
榜单换个算法就洗牌:不是模型退步,是名次没有分辨率
llm·rails
Baihai_IDP1 天前
大模型 API 真的在赔本赚吆喝吗?聊聊 Token 背后的真实成本
人工智能·llm·aigc
xyphf_和派孔明2 天前
第六章: AI Agent长期记忆的存储引擎介绍
langchain·llm·agent
xyphf_和派孔明2 天前
第四章: AI Agent短期记忆的信息管理机制设计
langchain·llm·agent
Soari2 天前
NetPilot:用RAG与验证回路辅助混合TSN和5G网络配置
5g·网络配置·大语言模型·tsn·rag
mengrennwpu2 天前
Kynvio: 新一代办公助手
llm·agent
Baihai_IDP2 天前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm