【centos7】部署ollama+deepseek

centos7开箱即用操作

bash 复制代码

sudo su
uname -m
cat /etc/os-release

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

yum install -y wget
yum install -y vim

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

sudo yum clean all
sudo yum makecache

yum update -y

环境准备

为了确保顺利安装，需确认操作系统已更新至最新状态并安装必要的依赖包：

ssh 复制代码

sudo yum update -y
sudo yum install epel-release -y
sudo yum groupinstall "Development Tools" -y

Python 和 Pip 安装

由于 DeepSeek 及其组件主要基于 Python 开发，因此需要先安装 Python 环境,推荐使用 Python 3.x 版本。

ssh 复制代码

sudo yum install python3-pip -y
pip3 install --upgrade pip setuptools wheel

Docker 安装

考虑到后续操作会涉及到容器技术，建议提前准备好 Docker 运行环境

卸载旧版本的Docker

bash 复制代码

sudo yum remove docker \
                docker-client \
                docker-client-latest \
                docker-common \
                docker-latest \
                docker-latest-logrotate \
                docker-logrotate \
                docker-engine

安装必要的工具（yum-utils提供了yum-config-manager等工具）

bash 复制代码

sudo yum install -y yum-utils device-mapper-persistent-data lvm2

添加清华源（替换官方源）

bash 复制代码

sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装Docker

bash 复制代码

sudo yum install -y docker-ce docker-ce-cli containerd.io

启动Docker服务

bash 复制代码

sudo systemctl start docker

设置Docker开机启动

bash 复制代码

sudo systemctl enable docker

配置国内镜像加速器

bash 复制代码

sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://registry.docker-cn.com", "https://hub-mirror.c.163.com"]
}
EOF

安装Ollama

检查系统架构
uname -m

安装（下载太慢的可以考虑去TB店铺也就1元左右的代下载费用）

如果是x86_64
https://github.com/ollama/ollama/releases/download/v0.11.6/ollama-linux-amd64.tgz

如果是ARM64
https://github.com/ollama/ollama/releases/download/v0.11.6/ollama-linux-arm64.tgz

如果Centos 不能访问github ，需要在本地下载完成后进行上传

解压Ollama

找到文件名称为ollama-linux-amd64.tgz 的文件

文件结构如下图

压缩包直接解压到/usr目录下，可以省去配置环境变量的步骤

具体的解压命令如下：

bash 复制代码

tar -xvf ollama-linux-amd64.tgz -C /usr

校验ollama 是否安装成功

bash 复制代码

ollama -v

存在报错！！！往下操作（升级有风险，请谨慎操作）

bash 复制代码

# 安装 SCL 仓库
sudo yum install centos-release-scl -y

# 安装 devtoolset-8（含 GCC 8）
sudo yum install devtoolset-8-gcc devtoolset-8-gcc-c++ -y

# 激活环境
scl enable devtoolset-8 bash

# 永久生效（添加到 ~/.bashrc）
echo "source /opt/rh/devtoolset-8/enable" >> ~/.bashrc

bash 复制代码

# 下载高版本 libstdc++.so.6.0.25
wget https://cdn.frostbelt.cn/software/libstdc%2B%2B.so.6.0.26

# 替换系统文件
sudo cp libstdc++.so.6.0.26 /usr/lib64/
cd /usr/lib64/
sudo ln -snf ./libstdc++.so.6.0.26 libstdc++.so.6

# 验证版本
strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX