Ollama Linux 部署指南

文章来源:Linux 部署文档 -- Ollama 中文文档|Ollama官方文档

安装

要安装 Ollama,请运行以下命令:

复制代码
`curl -fsSL https://ollama.com/install.sh | sh
`

手动安装

!注意\] 如果要从以前的版本升级,则应使用`sudo rm -rf /usr/lib/ollama`第一。

下载并解压缩包:

复制代码
`curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
`

启动 Ollama:

复制代码
`ollama serve
`

在另一个终端中,验证 Ollama 是否正在运行:

复制代码
`ollama -v
`

AMD GPU 安装

如果您有 AMD GPU,还要下载并解压缩其他 ROCm 软件包:

复制代码
`curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz
`

ARM64 安装

下载并解压缩特定于 ARM64 的包:

复制代码
`curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz
`

将 Ollama 添加为启动服务(推荐)

为 Ollama 创建用户和组:

复制代码
`sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
`

在 中创建服务文件/etc/systemd/system/ollama.service:

复制代码
`[Unit]
Description=Ollama Service
After=network-`on`line.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=`3`
Environment=`"PATH=$PATH"`

[Install]
WantedBy=default.target
`

然后启动服务:

复制代码
`sudo systemctl daemon-reload
sudo systemctl enable ollama
`

安装 CUDA 驱动程序(可选)

下载并安装CUDA 的 CUDA 中。

通过运行以下命令验证驱动程序是否已安装,该命令应打印有关 GPU 的详细信息:

复制代码
`nvidia-smi
`

安装 AMD ROCm 驱动程序(可选)

下载并安装ROCm v6 的。

启动 Ollama

启动 Ollama 并验证它是否正在运行:

复制代码
`sudo systemctl start ollama
sudo systemctl status ollama
`

!注意\] 虽然 AMD 贡献了`amdgpu`驱动程序上游到官方 Linux kernel 源,版本较旧,可能不支持所有 ROCm 功能。我们 建议您安装 [Linux® Drivers for AMD Radeon™ and Radeon PRO™ Graphics](https://www.amd.com/en/support/linux-drivers "Linux® Drivers for AMD Radeon™ and Radeon PRO™ Graphics") 提供的最新驱动程序,以便为您的 Radeon 提供最佳支持 GPU 的 GPU 中。

定制

要自定义 Ollama 的安装,您可以通过运行以下命令来编辑 systemd 服务文件或环境变量:

复制代码
`sudo systemctl edit ollama
`

或者,在/etc/systemd/system/ollama.service.d/override.conf:

复制代码
`[Service]
Environment=`"OLLAMA_DEBUG=1"`
`

更新

通过再次运行安装脚本来更新 Ollama:

复制代码
`curl -fsSL https://ollama.com/install.sh | sh
`

或者通过重新下载 Ollama:

复制代码
`curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
`

安装特定版本

OLLAMA_VERSION环境变量替换为安装脚本来安装特定版本的 Ollama,包括预发行版。您可以在 releases 页面中找到版本号。

例如:

复制代码
`curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh
`

查看日志

要查看作为启动服务运行的 Ollama 的日志,请运行:

复制代码
`journalctl -e -u ollama
`

卸载

删除 ollama 服务:

复制代码
`sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
`

从 bin 目录中删除 ollama 二进制文件(或者/usr/local/bin,/usr/bin/bin):

复制代码
`sudo rm $(which ollama)
`

删除下载的模型以及 Ollama 服务用户和组:

复制代码
`sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama
`

删除已安装的库:

复制代码
`sudo rm -rf /usr/local/lib/ollama`

文章来源:Linux 部署文档 -- Ollama 中文文档|Ollama官方文档

相关推荐
vx_dmxq2117 小时前
【微信小程序学习交流平台】(免费领源码+演示录像)|可做计算机毕设Java、Python、PHP、小程序APP、C#、爬虫大数据、单片机、文案
java·spring boot·python·mysql·微信小程序·小程序·idea
q***07147 小时前
Spring Boot 中使用 @Transactional 注解配置事务管理
数据库·spring boot·sql
无垠的广袤7 小时前
【工业树莓派 CM0 NANO 单板计算机】本地部署 EMQX
linux·python·嵌入式硬件·物联网·树莓派·emqx·工业物联网
414a7 小时前
LingJing(灵境):Linux Amd64局域网设备访问靶机教程
linux·安全·web安全·网络安全·lingjing·灵境
tianyuanwo7 小时前
多平台容器化RPM构建流水线全指南:Fedora、CentOS与Anolis OS
linux·运维·容器·centos·rpm
m***92388 小时前
【SQL】MySQL中的字符串处理函数:concat 函数拼接字符串,COALESCE函数处理NULL字符串
数据库·sql·mysql
!停8 小时前
VS实用调试技巧
数据库
BD_Marathon8 小时前
【Zookeeper】CAP理论——CAP介绍
linux·分布式·zookeeper
TracyCoder1238 小时前
MySQL 实战宝典(八):Java后端MySQL分库分表工具解析与选型秘籍
java·开发语言·mysql
8***23559 小时前
在Django中安装、配置、使用CKEditor5,并将CKEditor5录入的文章展现出来,实现一个简单博客网站的功能
数据库·django·sqlite