docker 安装并使用 ollama

启动 ollama

1. CPU 方式启动

bash 复制代码
docker run -itd --name ollama -v ~/.ollama:/root/.ollama -p 11434:11434 ollama/ollama

2. GPU 方式启动

bash 复制代码
docker run -itd --name ollama --gpus=all -v ~/.ollama:/root/.ollama -p 11434:11434 ollama/ollama

启动模型

进入 ollama 容器

bash 复制代码
docker exec -it ollama /bin/bash

拉取 qwen2.5 大模型

bash 复制代码
ollama pull qwen2.5:0.5b

查看大模型列表

bash 复制代码
ollama list

对话

1. 进入容器,直接启动 qwen2.5 大模型,进行对话

bash 复制代码
docker exec -it ollama /bin/bash
ollama run qwen2.5:0.5b

2. 在宿主机通过 curl 和 ollama api 交互,进行单轮对话

bash 复制代码
curl http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:0.5b",
    "prompt": "用 Go 写一个 Gin 示例",
    "stream": false
  }'

3. 在宿主机通过 curl 和 ollama api 交互,进行多轮对话

bash 复制代码
curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:0.5b",
    "messages": [
      {"role": "user", "content": "你是谁?"},
      {"role": "assistant", "content": "我是 Qwen 模型"},
      {"role": "user", "content": "给我一个 Go Web 示例"}
    ],
    "stream": false
  }'
相关推荐
lambo mercy9 小时前
01初识docker
运维·docker·容器
时间的拾荒人10 小时前
Docker 容器、仓库与数据管理实战
docker·容器·eureka
时间的拾荒人12 小时前
Docker 入门实战:从核心概念、安装配置到镜像操作与 Dockerfile 定制
运维·docker·容器·eureka
时间的拾荒人13 小时前
Docker Compose 编排实战:从命令详解到 Redis Cluster 三主三从部署
docker·部署·集群
AI开源软件1 天前
Kubernetes 网络实战:打通 Pod、Service 与集群外任务调度器的双向调用
docker·nacos·kubernetes·xxl-job·calico·微服务部署·ruoyi office
csdn_aspnet2 天前
Docker 啟動MySQL Server連上MySQL Workbench
mysql·docker·容器
月夏2 天前
我把全栈项目塞进已有 nginx 的服务器,卡我最久的是三个斜杠
nginx·react.js·docker
瑞克-桑切斯2 天前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
对象存储与RustFS2 天前
对象锁遇上版本化:删掉的对象还在,真删的又删不掉
后端·docker·云原生
遇雪长安2 天前
wslc 来了:Docker Desktop 还要留着吗?
运维·docker·容器