nvidia驱动更新,centos下安装openwebui+ollama（非docker）

查看centos内核版本

bash 复制代码

uname -a
cat /etc/redhat-release

下载对应的程序（这个是linux64位版本通用的）
https://cn.download.nvidia.cn/tesla/550.144.03/NVIDIA-Linux-x86_64-550.144.03.run

cudnn想办法自己下一下，我这里是12.x和11.x通用的
https://developer.download.nvidia.cn/compute/cudnn/secure/8.9.6/local_installers/11.x/cudnn-local-repo-rhel7-8.9.6.50-1.0-1.x86_64.rpm?token=exp=1740548379~hmac=9e638911b1821f92d77e38d2d60a474b2a835cf5c7e111626eb0dcc54ab33343&t=eyJscyI6ImJzZW8iLCJsc2QiOiJodHRwczovL2NuLmJpbmcuY29tLyJ9

常见的命令

python 复制代码

curl -fsSL https://ollama.com/install.sh | sh #安装ollama
systemctl restart ollama # 重启ollama
vim /etc/systemd/system/ollama.service #修改ollama参数配置
systemctl daemon-reload #修改配置后要执行这个
df #查看磁盘占用率
# 以下命令需要进入到conda环境中
nohup open-webui serve # 后台启动open-webui
pip index version open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple # 查看版本

python 复制代码

Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=/root/miniconda3/envs/openwebui/bin:/root/miniconda3/condabin:/home/cdpicc/iflytek/public/jdk1.8.0_45/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_MODELS=/root/ollama/modelss"# 模型存放位置
Environment="OLLAMA_HOST=0.0.0.0:11434"# 端口
Environment="OLLAMA_KEEP_ALIVE=1h" # 存活时间
Environment="OLLAMA_MAX_LOADED_MODELS=3"#最大模型数量
Environment="OLLAMA_NUM_PARALLEL=4"# 并行请求的最大数量

[Install]
WantedBy=default.target