CentOS 7安装ollama

一、环境准备:

cat /etc/redhat-release #CentOS 7.3

--配置 CentOS 7 国内镜像源

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

yum clean all

yum makecache

--升级到 CentOS 7.9,兼容性更好:yum update -y

--安装基础工具

yum install -y wget curl git vim net-tools gcc gcc-c++ make \

openssl-devel readline-devel zlib-devel bzip2-devel \

libffi-devel sqlite-devel

--安装 DevToolset-7(新版 GCC)

安装 SCL 源:yum install -y centos-release-scl-rh

安装 DevToolset-7(GCC 7.3):yum install -y devtoolset-7-gcc devtoolset-7-gcc-c++ devtoolset-7-binutils

启用新版 GCC(当前会话):scl enable devtoolset-7 bash

永久启用(添加到 ~/.bashrc):echo "source /opt/rh/devtoolset-7/enable" >> ~/.bashrc

验证 GCC 版本:gcc --version # 应显示:gcc (GCC) 7.3.1

二、安装ollama:

useradd -m -s /bin/bash ollama

passwd ollama --Ollama@2026!

usermod -aG wheel ollama

mkdir -p /home/ollama/models

chown -R ollama:ollama /home/ollama

su - ollama

下载Ollama,放到/home/ollama目录:https://ollama.com/

备用地址: https://www.newbe.pro/Mirrors/Mirrors-ollama

解压:

cd /home/ollama

tar -I zstd -xvf ollama-linux-amd64.tar.zst zst文件需要:yum install -y zstd

置ollama国内镜像,.bash_profile加入行:

export OLLAMA_ORIGINS=https://modelscope.cn

启动:

ollama@localhost \~$ cat start_ollama.sh

#!/bin/bash

export OLLAMA_HOST="0.0.0.0:11434" # 设置环境变量,允许局域网访问

nohup /home/ollama/bin/ollama serve > ollama.log 2>&1 &

echo "Ollama 服务已启动,进程ID: $!"

ollama@localhost \~$ chmod u+x start_ollama.sh

ollama@localhost \~$ ./start_ollama.sh

查看:ollama --version

下载 Qwen2.5-7B 模型:ollama pull qwen2.5:7b-instruct-q4_K_M

离线下载模型:

https://modelscope.cn/models/unsloth/Qwen3-8B-GGUF下载Qwen3-8B-Q4_K_M、Qwen3-8B-Q3_K_M,下载后放到/home/ollama/models目录

注册离线下载的模型:

在目录/home/ollama/models创建文件:vi Modelfile

FROM ./Qwen3-8B-Q4_K_M.gguf

执行创建命令:

ollama create Qwen3-8B-Q4_K_M -f Modelfile

查看模型:ollama list

运行模型:ollama run Qwen3-8B-Q4_K_M

相关推荐
逆风的蚂蚁8 分钟前
linux服务器性能调整怎么落地?我把 CPU 调度、I/O 优先级和内核参数这几个旋钮都拧了一遍
linux·运维·服务器
沫璃染墨4 小时前
从零入门计算机网络系列(十一):HTTP协议进阶——从重定向原理到GET/POST与Fiddler抓包
linux·服务器·开发语言·网络·c++·tcp/ip·html
AI_Lab016 小时前
宝塔用了两年,有没有必要换成轻量方案?
linux·运维·服务器
by209996 小时前
Linux GDB 调试与 CGDB 使用
linux·运维·服务器·经验分享
星恒随风6 小时前
Linux网络编程:应用层协议究竟是什么?从网络计算器到TCP Socket抽象基类完整实现
linux·网络·笔记·tcp/ip
feng_you_ying_li9 小时前
linux之网络层
linux·运维·网络
未来之窗软件服务9 小时前
Linux 运维日志删除的多种方式—东方仙盟
linux·运维·服务器·仙盟创梦ide·东方仙盟
小雉系统9 小时前
BcoreOS实战:用一个升级包,让Rocky Linux跑进Debian服务器
linux·运维·服务器·debian
thethefighter9 小时前
快速预览Word、WPS秒开,支持空格弹窗
linux·word·wps·快速预览·空格弹窗·nhdeepview
用户83514140494910 小时前
把日志和寄存器值喂给AI做故障定位,我的实际问法
linux·ubuntu