鲲鹏+昇腾部署集群管理软件GPUStack,两台服务器搭建双节点集群【实战详细踩坑篇】

前期说明

配置:2台鲲鹏32C2 + 2 Atlas300I duo,之前看网上文档,目前GPUstack只支持910B芯片,想尝试一下能不能310P也部署试试,毕竟华为的集群软件要收费。

系统:openEuler22.03-LTS

驱动:24.1.rc3

前期准备

(1)安装Ascend-docker-runtime

bash 复制代码
chmod +x Ascend-docker-runtime_6.0.RC3_linux-aarch64.run  
./Ascend-docker-runtime_6.0.RC3_linux-aarch64.run

这玩意就是对Docker以插件方式提供Ascend NPU适配功能

部署GPUStack

bash 复制代码
docker run -it --privileged -u root --net=host --ipc=host \
  --name=gpustack \
  -p 80:80 \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \   #映射驱动
    -v /usr/local/sbin:/usr/local/sbin:ro \
  --device=/dev/davinci0 \  #2张卡4个芯片
  --device=/dev/davinci1 \
  --device=/dev/davinci2 \
  --device=/dev/davinci3 \
  gpustack/gpustack:latest-npu

这个命令我自己改的,原本官方那个太坑了,不映射驱动和NPU卡!

bash 复制代码
docker exec -it gpustack cat /var/lib/gpustack/initial_admin_password  ##获取密码,账号默认admin

登录GPUStack

部署worker节点

bash 复制代码
docker run -d \
  --name gpustack-worker \
  --restart=unless-stopped \
  -e ASCEND_VISIBLE_DEVICES=0 \
  -p 10150:10150 \
  -p 40000-41024:40000-41024 \
  -p 50000-51024:50000-51024 \
  --ipc=host \
  --device=/dev/davinci0 \
  --device=/dev/davinci1 \
  --device=/dev/davinci2 \
  --device=/dev/davinci3 \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
  -v /usr/local/sbin:/usr/local/sbin:ro \
  -v gpustack-worker-data:/var/lib/gpustack \
  gpustack/gpustack:v0.5.1-npu \
  --server-url http://192.168.124.19 \
  --token 5a3b06c91adf9090890258301bb75710 \
  --worker-ip 192.168.124.20

创建容器命令我自己改的,可以根据我这个创建,官方给的都是坑!

刷新一下页面,就可以看到worker节点了

GPUStack部署模型测试




总结:下载了三个模型,测试对话都失败,确实不支持310P,目前只支持910B!但是作为开源软件来说,GPUStack确实功能齐全,用起来方便,非常不错!

相关推荐
道可云1 天前
道可云人工智能每日资讯|浦东启动人工智能创新应用竞赛
人工智能·百度·ar·xr·deepseek
Just_Paranoid1 天前
华为云Flexus+DeepSeek征文|基于Dify构建音视频内容转录工作流
华为云·音视频·dify·maas·deepseek·flexusx
会飞的果粒橙1 天前
在Ubuntu24上安装ollama
ollama·deepseek
小明说Java1 天前
华为云Flexus+DeepSeek征文 | 基于华为云Flexus X实例部署Dify平台构建企业行政助手的可用性研究
华为云·maas·deepseek·flexus
Just_Paranoid11 天前
华为云Flexus+DeepSeek征文|基于Dify构建抓取金融新闻并发送邮箱工作流
华为云·dify·maas·新闻资讯·deepseek·flexusx
顾林海11 天前
DeepSeek 提示词工程完全指南:从基础到高级应用
人工智能·aigc·deepseek
程序员Better12 天前
收藏警告-2025年当前主流AI工具网站的详细总结
openai·ai编程·deepseek
程序员海军12 天前
RAG:Chroma 向量数据库入门指南(一)
数据库·人工智能·deepseek
SRETalk12 天前
夜莺监控V8发版,内置支持 DeepSeek 对接
aiops·监控告警·夜莺监控·运维监控·deepseek
mengyoufengyu12 天前
DeepSeek15-揭密模型上下文协议(MCP)
人工智能·大模型·deepseek