鲲鹏+昇腾部署集群管理软件GPUStack,两台服务器搭建双节点集群【实战详细踩坑篇】

前期说明

配置:2台鲲鹏32C2 + 2 Atlas300I duo,之前看网上文档,目前GPUstack只支持910B芯片,想尝试一下能不能310P也部署试试,毕竟华为的集群软件要收费。

系统:openEuler22.03-LTS

驱动:24.1.rc3

前期准备

(1)安装Ascend-docker-runtime

bash 复制代码
chmod +x Ascend-docker-runtime_6.0.RC3_linux-aarch64.run  
./Ascend-docker-runtime_6.0.RC3_linux-aarch64.run

这玩意就是对Docker以插件方式提供Ascend NPU适配功能

部署GPUStack

bash 复制代码
docker run -it --privileged -u root --net=host --ipc=host \
  --name=gpustack \
  -p 80:80 \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \   #映射驱动
    -v /usr/local/sbin:/usr/local/sbin:ro \
  --device=/dev/davinci0 \  #2张卡4个芯片
  --device=/dev/davinci1 \
  --device=/dev/davinci2 \
  --device=/dev/davinci3 \
  gpustack/gpustack:latest-npu

这个命令我自己改的,原本官方那个太坑了,不映射驱动和NPU卡!

bash 复制代码
docker exec -it gpustack cat /var/lib/gpustack/initial_admin_password  ##获取密码,账号默认admin

登录GPUStack

部署worker节点

bash 复制代码
docker run -d \
  --name gpustack-worker \
  --restart=unless-stopped \
  -e ASCEND_VISIBLE_DEVICES=0 \
  -p 10150:10150 \
  -p 40000-41024:40000-41024 \
  -p 50000-51024:50000-51024 \
  --ipc=host \
  --device=/dev/davinci0 \
  --device=/dev/davinci1 \
  --device=/dev/davinci2 \
  --device=/dev/davinci3 \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
  -v /usr/local/sbin:/usr/local/sbin:ro \
  -v gpustack-worker-data:/var/lib/gpustack \
  gpustack/gpustack:v0.5.1-npu \
  --server-url http://192.168.124.19 \
  --token 5a3b06c91adf9090890258301bb75710 \
  --worker-ip 192.168.124.20

创建容器命令我自己改的,可以根据我这个创建,官方给的都是坑!

刷新一下页面,就可以看到worker节点了

GPUStack部署模型测试




总结:下载了三个模型,测试对话都失败,确实不支持310P,目前只支持910B!但是作为开源软件来说,GPUStack确实功能齐全,用起来方便,非常不错!

相关推荐
小草cys14 小时前
在树莓派集群上部署 Distributed Llama (Qwen 3 14B) 详细指南
python·llama·树莓派·qwen
freephp2 天前
企业级LLM已经到了next level:LangChain + DeepSeek = 王炸
langchain·deepseek
孤狼程序员2 天前
DeepSeek文献太多太杂?一招制胜:学术论文检索的“核心公式”与提问艺术
人工智能·文献搜索·deepseek
AMiner:AI科研助手3 天前
警惕!你和ChatGPT的对话,可能正在制造分布式妄想
人工智能·分布式·算法·chatgpt·deepseek
算家计算3 天前
DeepSeek被曝年底推出AI智能体,下一代人机交互时代要来了?
人工智能·agent·deepseek
数字化顾问5 天前
【54页PPT】基于DeepSeek的数据治理技术(附下载方式)
deepseek
AI大模型5 天前
DeepSeek本地部署有什么用?轻松解锁 DeepSeek 本地部署
程序员·llm·deepseek
minhuan6 天前
构建AI智能体:二十、妙笔生花:Gradio集成DashScope Qwen-Image模型实现文生图
人工智能·prompt·qwen·gradio·千问大模型
封奚泽优6 天前
提取动漫图像轮廓并拟合为样条曲线(MATLAB)
图像处理·人工智能·计算机视觉·matlab·deepseek
Francek Chen7 天前
【DeepSeek】蓝耘元生代 | 蓝耘MaaS平台与DeepSeek-V3.1重构智能应用开发
人工智能·深度学习·自然语言处理·maas·deepseek·蓝耘元生代