Runtime 错误处理机制深度：异常捕获、容错调度与安全状态恢复

CANN 组织链接： https://atomgit.com/cann
Runtime 仓库链接： https://atomgit.com/cann/runtime

在复杂的异构计算环境中，计算任务的稳定性和可靠性是首要挑战。CANN Runtime 不仅是任务的调度器，更是系统的安全守卫。它集成了多层次的异常捕获、容错调度和诊断机制，确保底层硬件故障或软件逻辑错误能够被及时、准确地隔离和处理。Runtime 在错误处理中的核心目标是：最小化错误影响范围，最大化系统可恢复性。

1. 异常的层次化捕获与标准化分类

Runtime 处于软件栈的核心位置，它必须能够统一处理和分类来自不同执行层次的错误源。

1.1 用户态与图级逻辑错误的捕获

这些错误通常源于上层框架或自定义算子的不当配置或编程缺陷。

算子属性校验：在图加载（Graph Loading）阶段，Runtime 会依据 MetaDef 中定义的约束，对算子属性进行严格校验。例如，检查 Padding、Stride 或 Dilations 等参数是否在有效范围内。
自定义算子异常：对于基于 Ascend C/PyPTO 开发的自定义核函数，Runtime 负责拦截从 Device 侧返回的 C++ 异常（如断言失败、除零错误）。

1.2 硬件与驱动层错误的隔离

Runtime 接收来自内核态驱动和通信库（HCCL/SHMEM）的底层硬件错误信号。

驱动中断上报：当 NPU 硬件报告了不可恢复的致命错误（如 HBM 的 ECC 错误、非法指令执行），驱动程序通过异步中断将错误上下文上报给 Runtime。Runtime 必须将这些硬件错误与正在执行的特定 Stream/Task 关联。
通信错误翻译：HCCL 或 SHMEM 报告的网络超时、QP 失败等通信错误会被 Runtime 捕获，并翻译成标准的 CANN 错误码，隔离通信失败对计算流的影响。

2. 容错调度与安全状态恢复机制

对于非致命错误或可预期的错误，Runtime 尝试隔离失败的计算单元，并恢复到可继续执行的状态，或者安全地终止任务。

2.1 算子粒度的失败隔离与资源回收

Runtime 的调度机制设计为支持算子级别的失败隔离，遵循最小影响原则。

资源清理：一旦某个算子执行失败，Runtime 立即触发资源回收流程，特别是释放该算子占用的 Local Memory 和 Workspace。
Stream 暂停：失败算子所在的 Stream 会被标记为错误状态并暂停后续任务。依赖于该 Stream 的其他 Stream 也会相应地被通知停止。

2.2 恢复点（Checkpoints）与故障排除

在复杂的计算流中，Runtime 可以设置逻辑恢复点。

原子性保障：Runtime 确保关键的内存写入操作（如权重更新）具有原子性。在失败时，如果可能，Runtime 尝试回滚到上一个成功的 Checkpoint，避免数据不一致。
安全终止：当错误被判断为无法恢复时，Runtime 会执行安全终止流程，确保所有已分配的 Context 和 HBM 资源得到正确释放，防止系统资源泄漏。

3. 错误码的标准化与信息聚合上报

Runtime 充当了底层硬件和驱动错误码到上层框架的"翻译官"，确保错误信息具有可读性和可追溯性。

3.1 标准化错误码映射

Runtime 定义了一套标准的错误码体系（如 ACL_ERROR_DEVICE_FAILURE, ACL_ERROR_INVALID_PARAM）。

统一接口：将数以百计的硬件状态寄存器值和驱动错误码映射到少数几类标准错误码中。

3.2 错误信息的聚合与上下文保留

上报给上层框架的错误信息必须包含丰富的调试上下文。

上下文快照：错误报告中必须包含失败算子 ID、它所在的 Stream ID、执行时间点、以及该 Task 所在 AI Core 的编号。
寄存器现场：在硬件异常时，Runtime 会尝试捕获并转储 AI Core 此时的寄存器现场快照（PC 指针、状态码），为离线调试提供第一手证据。

4. 维测（Profiling）与黑匣子诊断体系

Runtime 集成了全栈的维测组件，在故障发生时提供"黑匣子"数据，极大地增强了系统的可诊断性（Serviceability）。

4.1 核心性能指标的采集与关联

维测组件实时监控系统的健康状态。

PMU 异常追踪：通过读取 NPU 的性能监控单元（PMU），Runtime 可以检测到非法的指令发射、L1/L0 Cache 的错误访问，并将其与正在执行的 Task 关联。
Task Trace 异常标记：在 Profiling Timeline 中，Runtime 会在异常发生的 Task 上标记红色旗帜，并记录错误码，帮助开发者直观定位执行流中的失败点。

4.2 黑匣子（Black Box）与数据转储（Dump）

针对难以复现的瞬态错误，Runtime 提供了强大的数据转储能力。

现场保留：在系统崩溃（Crash）前，Runtime 会将最后时刻的日志缓冲区和关键硬件状态信息强制写入非易失存储。

bash 复制代码

# 示例：Runtime 日志中异常信息片段（概念）
[ERROR][ACL][RT] Device 0, Stream 12, Task 5: ACL_ERROR_HARDWARE_FAILURE (0x02000201)
Task: Conv2D_1001 failed at AICore 3. Cause: Illegal Instruction.
Registers Dump Available: True.

数据 Dump：在执行前配置 Dump 环境变量，Runtime 可以在算子执行前后，将显存中的张量数据导出到磁盘，用于验证数值精度和追踪错误传播路径。

5. 软件与硬件的错误码交汇

Runtime 负责处理用户态软件和底层硬件错误码的交汇点。

5.1 驱动通信协议错误处理

Runtime 通过 IOCTL 接口与驱动通信，驱动层可能返回协议错误（Protocol Error）。

队列状态监控：Runtime 持续监控驱动 Ring Buffer 的状态。如果发现提交（Post）的任务长时间未被消费，或者 Ring Buffer 溢出，Runtime 会主动报错，而不是等待硬件超时。

5.2 兼容性错误检查

在应用启动时，Runtime 检查自身版本与内核驱动版本、固件版本是否匹配。

版本不一致错误：如果不匹配，Runtime 会在 Context 初始化阶段拒绝执行，并给出明确的兼容性错误码，避免因版本不一致导致的运行时未知行为。

6. 总结

CANN Runtime 在错误处理中扮演着高可靠性保障者的角色。它通过多层次的异常捕获机制，确保了底层硬件故障能够被及时、准确地隔离和报告。同时，通过精细的资源释放和上下文恢复，保障了 NPU 资源的正确释放和状态的稳定，是实现高可靠性 AI 部署的必要条件。