
高速光模块安装完成后,建议把验收分成"静态信息、动态遥测、错误计数、压力流量"四个阶段。直接跑一次吞吐测试虽然省事,但无法解释结果为什么好或为什么差。
静态信息阶段先保存两端设备、端口、模块标识、序列号、速率能力、线缆类型与长度,并确认端口拆分和lane映射一致。对InfiniBand可使用ibdiagnet获取网络、端口和线缆相关信息;对NVIDIA网卡或交换机链路,可结合mlxlink及设备系统提供的transceiver命令查看链路与模块状态。具体命令选项要以当前MFT、NVOS或Cumulus版本为准。
插纤前完成端面清洁。连接器即使带防尘帽,也不能假设绝对洁净;每次重新插入前都应按规范清洁模块接口和光纤端面。若链路偶发抖动,先做清洁、互换端口、互换模块或光纤的控制变量测试,通常比直接修改软件参数更有效。
动态遥测阶段读取Tx/Rx光功率、温度、电压和告警阈值。不要把不同模块的光功率范围混在一起比较,应使用具体器件规格。需要同时观察两端方向、各lane差异和负载前后变化。温度未触发告警,也可能因风道或端口密度导致余量不足。
错误计数阶段先保存基线,再在固定时间窗口内施加持续流量,比较FEC corrected、FEC uncorrectable、raw BER、effective BER、symbol error和端口错误的增量。FEC可纠错计数增长不等于立即失败,但增长速率异常、某lane明显偏高或出现不可纠错错误,都应继续排查。
最后运行端到端吞吐、RDMA或NCCL测试,并记录消息尺寸、并发、持续时间和拓扑。把模块信息、遥测、计数器差值和业务结果放在同一份报告里,才能区分是光器件、光纤、端口、配置还是上层流量模型造成的问题。
执行时可以先读取一次静态状态,将输出保存为before;持续压测后再读取一次,保存为after。重点比较计数器增量,而不是只看累计值。若设备重启、端口flap或模块重新插拔,需要在报告中标记,因为这些操作可能重置部分计数器。
对于多lane链路,聚合值正常并不代表每条lane都健康。应尽量查看lane级光功率、BER或FEC信息,找出是否存在单lane偏弱。若问题跟随光纤端、模块或端口移动,说明故障域已经缩小;若只在特定负载和温度下出现,则需要延长测试时间并同步采集环境数据。
排障建议按低风险顺序进行:保存现场数据、清洁端面、检查线缆应力、互换已知正常光纤、互换模块、最后再调整端口配置或软件参数。不要一开始就强制修改FEC模式或关闭告警,这可能掩盖物理层问题。
验收脚本还应输出主机名、设备标识、端口、时间戳和工具版本。批量节点中如果缺少这些上下文,再完整的计数器也可能无法对应到真实链路。