摘要为破解国家"东数西算"纵深推进中跨域算网状态割裂与冷热失衡困局，某国家级智能计算枢纽于2025年2月启动全国一体化算力感知网络工程（总投资6800万元，算网大脑专项1500万元），本人担任网络架构负责人。方案系统论证了APN6与传统DPI、G-SRv6紧凑段路由加BGP-LS（RFC7752）算力路由与传统MPLS TE的选型权衡；规划了连接东部京沪与西部中卫贵安的400GE干线拓扑与FlexE（OIF-FLEXE-02.0）硬切片；构建了跨域算力多维加权寻优与动态自适应导流体系；妥善处置了西部节点降载引发Anycast算力踩踏震荡，及APN6报文封装超长致跨域MTU黑洞两起难题。系统投产后东部本地推理时延稳定在15ms内，跨域推理端到端P95时延压缩至28-32ms区间，西部算力消纳率达85%，实现了跨省高品质调度与算网协同高效闭环。正文一、项目背景与算网一体技术选型随着国家东数西算向纵深推进，跨域算力调度成为核心支柱。传统广域网络仅基于拓扑与带宽转发，对端侧实时负载、显存水线及排队延迟完全无感，导致网络不知算、算力不知网的割裂困境。2024年3月，某国家级智能计算枢纽启动全国一体化算力感知网络工程，本人担任网络架构负责人。项目总投资6800万元，涵盖东部京沪与西部中卫、贵安骨干PE底座与高速光模块升级约2650万元（部署16台NetEngine8000系列高密路由器），跨省400GE波分通道与FlexE网络切片首期租用集成2650万元（含跨域SLA保障），以及算网大脑、BGP-LS遥测与APN6平台专项1500万元，旨在打通东部高频推理与西部预训练的一体化链路。前期规划重点开展两项顶层技术路线权衡：一是算力需求感知模式比选，DPI网关在明文协议审计与深度内容风控中具不可替代性，但CPU开销大且在面对TLS加密流量时感知失效，APN6仅线速传递业务标识与SLA而不解包内容，二者在安全与承载上实为互补，方案在广域调度侧确立APN6路线；二是广域调度路由体系比选，MPLS TE在单域成熟且免除IPv6扩展头开销的存量网中仍显稳妥，但跨域配置割裂且缺乏算力感知，方案选用G-SRv6紧凑段路由结合BGP-LS（RFC7752）算力扩展路线。尽管外层封装产生80字节固定开销（外层IPv6头40B、压缩SRH 24B及APN6头16B），较传统多跳SRv6已缩减超50%，有效支撑了跨域弹性调度。
二、算力感知网络架构拓扑与广域协同编排规划网络构建层次化算网协同骨干承载架构。东部京沪部署集中接入PE汇聚金融推理与多媒体业务，西部中卫、贵安部署算力汇聚PE纳管超15000张加速卡与80PB分布式存储，东部PE经两级国家骨干核心跨省中继至西部汇聚PE，端到端典型调度路径为4跳。底层依托运营商高品质400GE国家干线波分光网，实测京津冀至中卫单向光纤物理时延约7.2ms（往返RTT约15ms），长三角至贵安与中卫跨省往返RTT稳定在22至25ms区间（符合国家20-25ms时延圈标准）。全网使能灵活以太网（FlexE，OIF-FLEXE-02.0）物理硬切片技术：将单条400G链路刚性划分为200G确定性低时延切片（专供核心推理交互与风控调用，抖动控制在亚毫秒级），与200G弹性切片（专供大模型训练数据批量拉取）。该设计有效隔离了大流对交互流的冲击。为实现算力信息与网络状态的协同分发，项目组构建了APN6与BGP-LS联合控制协议栈并实施高低频解耦。全网规划层次化SRv6 Locator地址空间（采用ULA前缀FD00:A100::/32），采用G-SRv6紧凑段路由将4跳段列表压缩至单组16字节IPv6容器内，规避芯片重循环惩罚；控制面上BGP-LS仅发布静态算力能级与重大阈值事件以防路由风暴，加速卡毫秒级显存占用率与队列深度则通过gRPC Telemetry流式直传算网大脑。网络制定平滑迁移策略：骨干网保持MPLS TE与SRv6双平面共存并按业务分批灰度割接，设定跨域丢包超0.5%或控制面失联3s触发一键回退MPLS TE（RTO<200ms）；在骨干PE边界实施扩展头封装与剥离，确保跨域安全受控。三、多维联合调度模型与算网协同控制机制在大规模跨域调度中，单一网络拓扑最短路径算法极易诱发局部算力过载与传输拥塞。网络团队在算网大脑内设计了算路联合多维加权寻优模型：构建归一化综合代价值函数Cost，联合计算网络传输往返时延（RTT）、算力节点任务排队时延、显存占用率及机房PUE能耗四个正向代价值维度，依据业务SLA配置差异化权重向量；针对微服务在线推理业务，追求超低时延与算力可用性，配置权重向量为时延0.5、排队0.3、显存0.2与PUE为0，结合东西部同构集群分配的统一Anycast Service SID算力任播地址动态下发Binding SID；针对离线训练批量搬迁任务，赋予PUE高达0.5权重，优先引导流量流向低PUE节点，实现了按算选路、按网导流。为保障全网算力节点在高并发请求下的稳健运行，系统建立了算力反压阶梯与业务会话自适应保持机制。设定集群动态保护水线：当西部某算力节点综合负载处于65%以下时作为常态优先池；达到65%至80%时触发基于阻尼函数的动态限流，依据超额比例将新增会话平滑调流至次优节点；若算力超80%警戒线，瞬时向算网大脑上报过载抑制信号，暂停下发新算力路由并激活本地排队保护。东部边缘PE基于五元组与APN6会话标识维护轻量级流表，对已建立的长会话实施会话粘连，防止报文跨域往返路径动态跳变诱发TCP重传，确保了流控平稳过渡。四、关键实施故障排查与深度性能调优压测阶段遭遇难题一：在模拟微服务Anycast算力寻址突发时，系统捕获到西部中卫节点在降载后突遭海量任务并发踩踏，GPU显存飙升超98%，任务队列严重溢出且端到端时延恶化3倍，随后流量撤离引发Anycast算力跷跷板震荡。排查过程：初期运维误判为光纤微秒抖动，重启模块无效；深入比对流分析查明，根因在于为抑制瞬态抖动，算网大脑对gRPC Telemetry显存指标配置了1s平滑滤波窗（EMA），致节点降载存在0-1s生效滞后；调度器以200ms周期重算Policy，滞后窗口期内将并发请求持续灌入刚降载节点引发踩踏溢出。对策：部署双门限（低载45%、高载75%）平滑阻尼；东部PE部署WCMP动态分流并联动会话粘连，利用率稳定在72%至82%。试运行阶段遭遇难题二：在跨域同步千亿模型训练数据集时，骨干网出现大面积TCP吞吐骤降，重传率飙升至18%，大文件传输频繁中断。排查过程：初期算法组怀疑网卡TSO卸载异常，调整驱动未果；网络团队分段抓包查明双重根因：一是1500字节标准报文叠加外层80B封装达1580B超跨省租用段1540B物理MTU，因IPv6严禁中间分片且跨域安全策略误拦截了ICMPv6 PTB报文致超长包静默丢弃；二是初期将APN6封装于逐跳选项头（HBH），沿途某利旧P节点旧微码对HBH实施慢速通道限速引发丢包。对策：自建网段推升MTU至9216巨帧；跨省租用段受限PMTU 1540B，依"1540B扣除外层80B、内层IPv6头40B及TCP头20B"算式将TCP MSS动态钳制为1400字节；将非逐跳算力标识改由目的选项头（DOH）承载并升级P节点微码，丢包率降至10^-7以下，跑满400G线速。五、实施成效评估与未来演进思考工程经过四级验收体系（涵盖算力感知精度、多维路由收敛时效、跨域吞吐性能与故障倒换指标）与180天高负荷检验，指标达到预期：1、时延与算效：东部本地在线推理端到端时延稳定在15ms以内，京沪至西部集群跨域推理端到端P95时延由传统模式的65ms大幅压缩至28-32ms区间，算网协同调度决策时延低于200ms；
1、时延与算效：东部本地在线推理端到端时延稳定在15ms以内，京沪至西部集群跨域推理端到端P95时延由传统模式的65ms大幅压缩至28-32ms区间，算网协同调度决策时延低于200ms；2、绿色消纳：西部绿色低成本算力综合消纳率提升至85%以上，GPU平均利用率由42%跃升至76%，年节约算费超千万元；3、传输质量：400GE主干网络在高峰期平稳承载70%至75%高负荷流量，微突发丢包率维持在10^-6以下低基线；4、网络韧性：基于SRv6 TI-LFA技术实现跨省光缆中断下小于30ms无感快速倒换，验证了极端链路割接下的确定性SLA。在项目工程验收复盘中，团队深入反思了当前体系的局限性：当前方案依赖集中式算网大脑进行状态汇总与路径求解，在突发高频算力潮汐下仍存在秒级控制面滞后，且异构厂商加速卡（如华为昇腾与第三方GPU）的算力标准化度量模型尚未完全拉通。面向国家全国一体化超算互联网演进，团队正开展两项技术探索：一是探索完全分布式的去中心化算力路由体系（BGP-CAN），在数据面利用APN6报文原位携带算力反馈实现毫秒级自适应选路；二是联合产学研推进异构算力统一抽象度量标准建设，打通从底层硬件指令集到上层算网路由的通用语义映射，推动东数西算向全域秒级流转的智能自治算网持续演进。