本地部署ollama

学Linux的语莫2026-01-13 8:34

一、docker-compose 文件

复制代码

version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./ollama-data:/root/.ollama
        #environment:
      # 让 Ollama 主动启用 GPU
      #- OLLAMA_GPU=1
      # 可选：只给容器看到第 0 张卡
      # - CUDA_VISIBLE_DEVICES=0
      #deploy:
      #resources:
      #  reservations:
      #    devices:
      #      - driver: nvidia
      #        count: all          # 用全部 GPU；只要 1 张就写 1
      #        capabilities: [gpu]

二、常用命令

命令	功能	常用示例
`ollama run <模型名>`	下载并运行（或直接运行）一个模型。	`ollama run llama3.2`
`ollama pull <模型名>`	仅下载模型，不运行。	`ollama pull deepseek-r1:7b`
`ollama list`	列出本地已下载的所有模型。	`ollama list`
`ollama ps`	查看当前正在运行的模型实例。	`ollama ps`
`ollama stop <模型名>`	停止某个正在运行的模型。	`ollama stop llama3`
`ollama rm <模型名>`	从本地删除一个模型。	`ollama rm mistral`
`ollama serve`	启动API服务，以便通过代码调用。	`ollama serve`
`ollama create <自定义名> -f ./Modelfile`	使用Modelfile配置文件创建自定义模型。	`ollama create mymodel -f ./Modelfile`
`ollama logs`	查看模型运行的日志，用于调试。	`ollama logs`
`ollama help`	查看所有命令的帮助信息。	`ollama help`