昇腾多卡通信教程【配置网络检测对象IP】

内卷焦虑人士2024-01-05 8:05

无法通信会出现的错误如下

一、网络健康状态报错

命令原型

bash 复制代码 
hccn_tool [-i %d] -netdetect -s [address %s]

命令功能

本功能支持用户执行命令获取网络健康状态（本端与所配置的检测IP之间的连通状态），用户可指定上报的状态信息名称。

状态信息：

0：Success；1：Socket fail；2：Receive timeout；3：Unreachable；4：Time exceeded；5：Fault；6：Init；7：Thread error；8：Detect ip set；其它：Unknown。

参数说明

参数 说明
-i 指定设备ID。取值范围：0~7。
-net_health 指定网络健康状态属性。
-g 获取属性。

使用样例

bash 复制代码 
hccn_tool -i 1 -net_health -g

报错

bash 复制代码 
net health status: Init

二、运行hccl_tools.py报错

根据RANK_TABLE_FILE准备----单机8卡

运行mindformers/tools/hccl_tools.py，生成RANK_TABLE_FILE文件

bash 复制代码 
# 运行如下命令，生成当前机器的RANK_TABLE_FILE的json文件
python ./mindformers/tools/hccl_tools.py --device_num "[0,8)"

报错

bash 复制代码 
start /home/HwHiAiUser/mindformers/./mindformers/tools/hccl_tools.py
visible_devices:['0', '1', '2', '3', '4', '5', '6', '7']
server_id:127.0.0.1
device_num_list: [0, 1, 2, 3, 4, 5, 6, 7]
Command execute failed!
Failed to call hccn_tool, try to read /etc/hccn.conf instead
Traceback (most recent call last):
  File "/home/HwHiAiUser/mindformers/./mindformers/tools/hccl_tools.py", line 163, in <module>
    main()
  File "/home/HwHiAiUser/mindformers/./mindformers/tools/hccl_tools.py", line 137, in main
    device_ip = device_ips[device_id]
KeyError: '0'

三、多卡推理报错

多卡推理baichuan2-13b，这个时候已经解决了上面的报错，但是这时多卡依然无法通信，报错EI0004，官网论坛以及昇思文档还有gitee都没有解决方案
报错

bash 复制代码 
[WARNING] Distributed Communication has not been inited. Use default RANK_SIZE: 1
[WARNING] Distributed Communication has not been inited. Use default RANK_ID: 0
Traceback (most recent call last):
 File "/home/anaconda3/envs/sakura/lib/python3.9/site-packages/mindformers/core/context/build_context.py", line 95, in init_context
   init()
 File "/home/anaconda3/envs/sakura/lib/python3.9/site-packages/mindspore/communication/management.py", line 171, in init
   init_hccl()
RuntimeError: Ascend collective communication initialization failed.

----------------------------------------------------
- Ascend Error Message:
----------------------------------------------------
EI0004: The ranktable or rank is invalid,Reason:[The ranktable config devId is inconsistent with the local devId.]. Please check the configured ranktable. [{"server_count":"1","server_list":[{"device":[{"device_id":"0","device_ip":"192.168.2.60","rank_id":"0"},{"device_id":"1","device_ip":"192.168.3.60","rank_id":"1"},{"device_id":"2","device_ip":"192.168.4.60","rank_id":"2"},{"device_id":"3","device_ip":"192.168.5.60","rank_id":"3"},{"device_id":"4","device_ip":"192.168.6.60","rank_id":"4"},{"device_id":"5","device_ip":"192.168.7.60","rank_id":"5"},{"device_id":"6","device_ip":"192.168.8.60","rank_id":"6"},{"device_id":"7","device_ip":"192.168.9.60","rank_id":"7"}],"host_nic_ip":"reserve","server_id":"127.0.0.1"}],"status":"completed","version":"1.0"}]
       Solution: Try again with a valid cluster configuration in the ranktable file. Ensure that the configuration matches the operating environment.

(Please search "Ascend Error Message" at https://www.mindspore.cn for error code description)

----------------------------------------------------
- Framework Error Message: (For framework developers)
----------------------------------------------------
Init hccl graph adapter failed.
----------------------------------------------------
- C++ Call Stack: (For framework developers)
----------------------------------------------------
mindspore/ccsrc/plugin/device/ascend/hal/hardware/ascend_collective_comm_lib.cc:129 Initialize
mindspore/ccsrc/plugin/device/ascend/hal/hccl_adapter/hccl_adapter.cc:452 InitKernelInfoStore


During handling of the above exception, another exception occurred:

Traceback (most recent call last):
 File "/home/HwHiAiUser/mindformers/research/baichuan2/run_baichuan2_pipeline.py", line 35, in <module>
   build_context(baichuan2_config)
 File "/home/anaconda3/envs/sakura/lib/python3.9/site-packages/mindformers/core/context/build_context.py", line 43, in build_context
   local_rank, device_num = init_context(use_parallel=config.use_parallel,
 File "/home/anaconda3/envs/sakura/lib/python3.9/site-packages/mindformers/core/context/build_context.py", line 97, in init_context
   raise RuntimeError("Notice: if you are trying to run with a single device, please set "
RuntimeError: Notice: if you are trying to run with a single device, please set use_parallel=False. If not, please check the error message above.

解决方案

第一步：配置RoCE网卡IP地址和子网掩码

命令原型

bash 复制代码 
hccn_tool [-i %d] -ip -s [address %s] [netmask %s]

命令功能

配置RoCE网卡的IP地址、子网掩码。

参数说明

参数 说明
-i 指定设备ID。取值范围：0~7。
-ip 指定IP属性。
-s 设置属性。
address IP地址。
netmask 子网掩码。

约束说明

该命令仅支持在物理机root用户下运行。

使用样例

bash 复制代码 
hccn_tool -i 0 -ip -s address 192.168.2.60 netmask 255.255.255.0
hccn_tool -i 1 -ip -s address 192.168.3.60 netmask 255.255.255.0
hccn_tool -i 2 -ip -s address 192.168.4.60 netmask 255.255.255.0
hccn_tool -i 3 -ip -s address 192.168.5.60 netmask 255.255.255.0
hccn_tool -i 4 -ip -s address 192.168.6.60 netmask 255.255.255.0
hccn_tool -i 5 -ip -s address 192.168.7.60 netmask 255.255.255.0
hccn_tool -i 6 -ip -s address 192.168.8.60 netmask 255.255.255.0
hccn_tool -i 7 -ip -s address 192.168.9.60 netmask 255.255.255.0

注意事项

针对AI Server上每个Device侧OS管理8块昇腾AI处理器，需要为每个OS上的8块网卡配置不同的IP。

首次配置IP时会出现15秒后link状态变为down，然后恢复up状态的情况。

192.168.1.X、192.168.2.192、192.168.2.196、192.168.3.193、192.168.3.197、192.168.4.194、192.168.4.198、192.168.5.195和192.168.5.199用于板内网络通信使用，不支持配置。

设置完成后运行hccl_tools.py

bash 复制代码 
start /home/HwHiAiUser/mindformers/./mindformers/tools/hccl_tools.py
visible_devices:['0', '1', '2', '3', '4', '5', '6', '7']
server_id:127.0.0.1
device_num_list: [0, 1, 2, 3, 4, 5, 6, 7]
rank_id:0, device_id:0, device_ip:192.168.2.60
rank_id:1, device_id:1, device_ip:192.168.3.60
rank_id:2, device_id:2, device_ip:192.168.4.60
rank_id:3, device_id:3, device_ip:192.168.5.60
rank_id:4, device_id:4, device_ip:192.168.6.60
rank_id:5, device_id:5, device_ip:192.168.7.60
rank_id:6, device_id:6, device_ip:192.168.8.60
rank_id:7, device_id:7, device_ip:192.168.9.60
Completed: hccl file was save in : /home/HwHiAiUser/mindformers/hccl_8p_01234567_127.0.0.1.json

这样就算是成功了，bug-2就解决了

第二步：配置网络检测对象IP

命令原型

bash 复制代码 
hccn_tool [-i %d] -netdetect -s [address %s]

命令功能

配置网络检测对象IP。该功能主要用于检测网络状态，当多台服务器进行分布式训练时，可将检测对象IP配置为网段内的网关地址，服务器会定时检测和网关地址通信是否正常，从而实现检测服务器参数面网络状态是否正常的效果。该功能需配合获取网络健康状态使用。

参数说明

参数 说明
-i 指定设备ID。取值范围：0~7。
-netdetect 指定网络检测对象IP属性。
-s 设置属性。
address IP地址。

约束说明

该命令仅支持在物理机的root用户下运行。

使用样例

bash 复制代码 
hccn_tool -i 0 -netdetect -s address 192.168.2.60
hccn_tool -i 1 -netdetect -s address 192.168.3.60
hccn_tool -i 2 -netdetect -s address 192.168.4.60
hccn_tool -i 3 -netdetect -s address 192.168.5.60
hccn_tool -i 4 -netdetect -s address 192.168.6.60
hccn_tool -i 5 -netdetect -s address 192.168.7.60
hccn_tool -i 6 -netdetect -s address 192.168.8.60
hccn_tool -i 7 -netdetect -s address 192.168.9.60

设置完成后随意检查一块显卡的健康状态

bash 复制代码 
hccn_tool -i 7 -net_health -g

返回Success即为成功，这样就解决了bug-1和bug-3

bash 复制代码 
net health status: Success

以上BUG在昇腾社区、华为官网、gitee中都找不到解决方案

相关推荐
拓端研究室5 分钟前
视频讲解|核密度估计朴素贝叶斯：业务数据分类—从理论到实践
人工智能·分类·数据挖掘
灵智工坊LingzhiAI10 分钟前
人体坐姿检测系统项目教程（YOLO11+PyTorch+可视化）
人工智能·pytorch·python
昨日之日200614 分钟前
Video Background Remover V3版 - AI视频一键抠像/视频换背景 支持50系显卡 一键整合包下载
人工智能·音视频
SHIPKING3931 小时前
【机器学习&深度学习】什么是下游任务模型？
人工智能·深度学习·机器学习
子燕若水5 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室6 小时前
Coco AI 实战（一）：Coco Server Linux 平台部署
人工智能
杨过过儿6 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫6 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手7 小时前
DTW模版匹配：弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记7 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
热门推荐
01Java学习第十五部分——MyBatis02集群聊天服务器---MySQL数据库的建立03Coze扣子平台完整体验和实践（附国内和国际版对比）04基于odoo17的设计模式详解---装饰模式05使用Ruby接入实时行情API教程06扣子（coze）实战|我用扣子搭建了一个自动分析小红薯笔记内容的AI应用|详细步骤拆解07Everything文件检索工具 几秒检索几百G的文件08基于odoo17的设计模式详解---单例模式09DeepSeek各版本说明与优缺点分析10【无标题】