ollma 本地部署大模型

因为我本地是 windows 的系统,所以这里直接写的是通过 docker 来实现本地大模型的部署。

windows 下 WSl 的安装这里就不做重复,详见 windows 部署 mindspore GPU 开发环境(WSL)

一、Docker 部署 ollma

1. 拉取镜像(笔记本没有对象显卡,所以拉取的镜像是CPU 版本的):
bash 复制代码
docker pull ollama/ollama:0.3.7-rc6
2. 启动镜像

仅 CPU 版本启动

bash 复制代码
docker run -d -v /home/jie/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:0.3.7-rc6

此时访问本地的 11434 端口,可以看到 Ollama is running 的字样

1.1 通过对话交互的方式启动 llama3

ollma 贴心的提供了很多模型和参数,详见 Ollama library⁠ 我这里选择启动的是 llama3 模型 参数量是 8b

bash 复制代码
docker exec -it ollama ollama run llama3.1

首次启动需要下载参数,所以会花费一些时间。

并在光标闪烁的地方开始对话

当然,8b 模型的结果有时候不太好,如果电脑内存在 60G 以上,可以大胆的尝试 70b 的模型。

1.2 通过服务的方式调用 llama3

bash 复制代码
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1", 
  "prompt": "帮我写一条Elasticsearch的聚合 a 字段的查询语句",
  "format": "json^C
  "stream": false
}'

参数 "model" 表示模型名,一定要 执行过 docker exec -it ollama ollama run 才可以正常响应。这种方式的响应时间比较长,原因有可能是每次请求的时候都会重新启动模型的原因(我并没有找到让模型一直保持启动状态的参数)。API列表

获取响应中的 response 字段就是大模型生成的回答。

二、附录

2.1 Ollama 常用命令

bash 复制代码
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama # 启动ollama
  create      Create a model from a Modelfile # 从模型文件创建模型
  show        Show information for a model # 显示模型信息
  run         Run a model # 运行模型,会先自动下载模型
  pull        Pull a model from a registry # 从注册仓库中拉取模型
  push        Push a model to a registry # 将模型推送到注册仓库
  list        List models # 列出已下载模型
  ps          List running models # 列出正在运行的模型
  cp          Copy a model # 复制模型
  rm          Remove a model # 删除模型
  
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.
相关推荐
AIGC大时代几秒前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
硅谷秋水1 分钟前
GAIA-2:用于自动驾驶的可控多视图生成世界模型
人工智能·机器学习·自动驾驶
偶尔微微一笑14 分钟前
AI网络渗透kali应用(gptshell)
linux·人工智能·python·自然语言处理·编辑器
深度之眼29 分钟前
2025时间序列都有哪些创新点可做——总结篇
人工智能·深度学习·机器学习·时间序列
晓数1 小时前
【硬核干货】JetBrains AI Assistant 干货笔记
人工智能·笔记·jetbrains·ai assistant
jndingxin1 小时前
OpenCV 图形API(60)颜色空间转换-----将图像从 YUV 色彩空间转换为 RGB 色彩空间函数YUV2RGB()
人工智能·opencv·计算机视觉
Sherlock Ma1 小时前
PDFMathTranslate:基于LLM的PDF文档翻译及双语对照的工具【使用教程】
人工智能·pytorch·语言模型·pdf·大模型·机器翻译·deepseek
知舟不叙1 小时前
OpenCV中的SIFT特征提取
人工智能·opencv·计算机视觉
kadog2 小时前
PubMed PDF下载 cloudpmc-viewer-pow逆向
前端·javascript·人工智能·爬虫·pdf
亿坊电商2 小时前
AI数字人多模态技术如何提升用户体验?
人工智能·ux·ai数字人