Ollama Docker 镜像部署

文章来源:Docker 部署文档 -- Ollama 中文文档|Ollama官方文档

仅 CPU

复制代码
`docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
`

英伟达 GPU

安装 NVIDIA Container Toolkit

使用 Apt 安装
  1. 配置存储库

    复制代码
    `curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
        | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
    curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
        | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
        | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
    sudo apt-get update
    `
  2. 安装 NVIDIA Container Toolkit 软件包

    复制代码
    `sudo apt-get install -y nvidia-container-toolkit
    `
使用 Yum 或 Dnf 安装
  1. 配置存储库

    复制代码
    `curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
        | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
    `
  2. 安装 NVIDIA Container Toolkit 软件包

    复制代码
    ` sudo yum install -y nvidia-container-toolkit
    `
配置 Docker 以使用 Nvidia 驱动程序
复制代码
`sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
`
启动容器
复制代码
`docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
`

!NOTE

如果您在 NVIDIA JetPack 系统上运行,Ollama 无法自动发现正确的 JetPack 版本。将环境变量 JETSON_JETPACK=5 或 JETSON_JETPACK=6 传递给容器以选择版本 5 或 6。

AMD 图形处理器

要使用带有 AMD GPU 的 Docker 运行 Ollama,请使用rocm标签和以下命令:

复制代码
`docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
`

在本地运行模型

现在您可以运行模型:

复制代码
`docker exec -it ollama ollama run llama3.2
`

尝试不同的模型

更多模型可以在 Ollama 库中找到。

文章来源:Docker 部署文档 -- Ollama 中文文档|Ollama官方文档

相关推荐
BAOYUCompany1 小时前
暴雨服务器更懂人工智能+
运维·服务器·人工智能
SpiderPex2 小时前
GitHub下载项目完整配置SSH步骤详解
运维·ssh·github
帽儿山的枪手2 小时前
docker-image 工具展示更详细镜像层内容
docker
睡觉的时候不会困2 小时前
基于三台主机搭建 Web 服务环境:Nginx、NFS 与 DNS 配置全流程
运维·nginx
草履虫建模3 小时前
RuoYi-Vue 项目 Docker 容器化部署 + DockerHub 上传全流程
java·前端·javascript·vue.js·spring boot·docker·dockerhub
@半良人3 小时前
Jenkins流水线部署+webhook2.0
运维·jenkins
瀚高PG实验室4 小时前
CentOS 8 安装HGDB V4.5 psql命令执行报错
linux·运维·centos·瀚高数据库
小醉你真好4 小时前
6、CentOS 9 安装 Docker
linux·docker·centos
chaofan9804 小时前
AI驱动的浏览器自动化革命:Claude Code + BrowserCat MCP深度实践指南
运维·自动化·claude code
Fireworkitte5 小时前
DevOps 详解
运维·devops