一、概述

在离线的银河麒麟系统进行开发工作，总会遇到一些简单琐碎的问题，并且一些算法或者需要导入或者需要手敲，是一件很折磨的事。因此在服务器本地部署大模型，十分有必要。

二、部署方案

采用 docker + ollama + qwen2.5-coder:7b + open webUI，大模型根据自己需求替换。选择docker镜像可以屏蔽离线银河麒麟服务器缺库的问题。

三、在联网设备上下载镜像

windows系统可以使用docker.desktop,linux系统直接安装docker。

1、拉取Ollama基础镜像

docker pull ollama/ollama:latest

2、导出包含模型的Ollama镜像

docker save -o ollama.tar ollama/ollama:latest

3、拉取OpenWebUI镜像

docker pull open-webui/open-webui:latest

4、拉取OpenWebUI镜像

docker save -o open-webui.tar openwebui/open-webui:latest

5、下载Qwen2.5:7b模型

docker run -d --name temp-ollama -p 11434:11434 ollama/ollama:latest

docker exec -it temp-ollama ollama pull qwen2.5-coder:7b

6、打包Qwen2.5:7b模型

docker exec ollama-temp tar -zcvf /tmp/ollama-models.tar.gz -C /root/.ollama models

docker cp ollama-temp:/tmp/ollama-models.tar ./ （命令行在那个目录，压缩包就在那）

四、在银河麒麟上部署

4.1 银河麒麟系统Docker安装

4.1.1 解压并安装Docker

解压Docker安装包

tar -zxf docker-27.1.0.tgz

复制可执行文件

sudo cp docker/* /usr/local/bin/

创建必要目录

sudo mkdir -p /etc/docker

sudo mkdir -p /var/lib/docker

4.1.2 配置Docker服务

创建systemd服务文件

sudo tee /etc/systemd/system/docker.service > /dev/null <<'EOF'

Unit

Description=Docker Application Container Engine

After=network.target

Service

ExecStart=/usr/local/bin/dockerd

Restart=always

RestartSec=5

LimitNOFILE=1048576

LimitNPROC=1048576

LimitCORE=infinity

Delegate=yes

KillMode=process

Install

WantedBy=multi-user.target

EOF

启动Docker服务

sudo systemctl daemon-reload

sudo systemctl start docker

sudo systemctl enable docker

验证安装

docker version

4.2 AI容器部署

4.2.1 导入离线镜像

docker load -i ollama.tar

docker load -i open-webui.tar

4.2.2 创建Docker网络

docker network create ai-network

4.2.3 启动Ollama容器

docker run -d

--name ollama

--network ai-network

-p 11434:11434

-v ollama_data:/root/.ollama

--restart unless-stopped

ollama/ollama:latest

4.2.4 将千问模型导入到ollama

查找ollama容器在银河麒麟系统上挂载的目录

docker volume inspect ollama_data

找到 "Mountpoint": "/var/lib/docker/volumes/ollama-data/_data" 这一行

把这个目录下的models删除，解压ollama-models.tar，然后替换原来的models

4.2.5 启动OpenWebUI容器

docker run -d

--name open-webui

--network ai-network

-p 3000:8080

-v webui_data:/app/backend/data

-e OLLAMA_BASE_URL=http://ollama:11434