Ollama Docker 镜像部署

文章来源:Docker 部署文档 -- Ollama 中文文档|Ollama官方文档

仅 CPU

复制代码
`docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
`

英伟达 GPU

安装 NVIDIA Container Toolkit

使用 Apt 安装
  1. 配置存储库

    复制代码
    `curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
        | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
    curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
        | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
        | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
    sudo apt-get update
    `
  2. 安装 NVIDIA Container Toolkit 软件包

    复制代码
    `sudo apt-get install -y nvidia-container-toolkit
    `
使用 Yum 或 Dnf 安装
  1. 配置存储库

    复制代码
    `curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
        | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
    `
  2. 安装 NVIDIA Container Toolkit 软件包

    复制代码
    ` sudo yum install -y nvidia-container-toolkit
    `
配置 Docker 以使用 Nvidia 驱动程序
复制代码
`sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
`
启动容器
复制代码
`docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
`

!NOTE

如果您在 NVIDIA JetPack 系统上运行,Ollama 无法自动发现正确的 JetPack 版本。将环境变量 JETSON_JETPACK=5 或 JETSON_JETPACK=6 传递给容器以选择版本 5 或 6。

AMD 图形处理器

要使用带有 AMD GPU 的 Docker 运行 Ollama,请使用rocm标签和以下命令:

复制代码
`docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
`

在本地运行模型

现在您可以运行模型:

复制代码
`docker exec -it ollama ollama run llama3.2
`

尝试不同的模型

更多模型可以在 Ollama 库中找到。

文章来源:Docker 部署文档 -- Ollama 中文文档|Ollama官方文档

相关推荐
Bruce_Liuxiaowei9 分钟前
Netstat高级分析工具:Windows与Linux双系统兼容的精准筛查利器
linux·运维·网络·windows·安全
INFINI Labs37 分钟前
搭建持久化的 INFINI Console 与 Easysearch 容器环境
docker·easysearch·console
易德研发1 小时前
ubuntu24.04安装NFS网络文件系统/ARM开发板NFS挂载
运维·服务器·网络
生活爱好者!2 小时前
NAS 部署白板工具,实现思维导图/画板/流程图自由
运维·docker·容器
乌鸦不像写字台8 小时前
【docker部署】在服务器上使用docker
服务器·docker·容器
互联网搬砖老肖10 小时前
运维打铁: MongoDB 数据库集群搭建与管理
运维·数据库·mongodb
Antonio91510 小时前
【音视频】HLS简介与服务器搭建
运维·服务器·音视频
艾伦_耶格宇11 小时前
【docker】-1 docker简介
运维·docker·容器
R.X. NLOS11 小时前
VS Code远程开发新方案:使用SFTP扩展解决Remote-SSH连接不稳定问题
运维·服务器·ssh·debug·vs code
cuijiecheng201812 小时前
Ubuntu下布署mediasoup-demo
linux·运维·ubuntu