【infra之路】矩阵乘法(GEMM) Tiling 复用机制总结

在 C=A×BC = A \times BC=A×B 的 Tiling 优化中,关于"A 和 B 是否都被复用"的结论如下:

1. 核心结论
  • 理论层面:A 和 B 的总复用次数是对称的(A 复用 N 次,B 复用 M 次)。
  • 工程实现层面 :在单级 Tiling 的最内层计算循环中,通常只有一个切块被真正"驻留复用",另一个是"流式加载"。你的直觉是正确的。
2. 为什么只复用一个?

受限于片上存储(Register/L1/Shared Memory)容量,无法同时容纳所有数据。必须做出选择:

  • 驻留数据 (Resident):被加载一次后,在内层循环中被反复使用(通常是 A)。
  • 流式数据 (Streaming):每次迭代加载新块,用完即弃(通常是 B)。
  • 决定因素:取决于循环嵌套顺序(Loop Ordering)和 MNK 的形状,而非矩阵本身。
3. 例外情况

只有在 2D Tiling多级存储层次 设计中,为了追求极致算术强度,才会让 A 和 B 同时在片上驻留并交叉复用。但这属于高阶优化,非常规默认行为。

💡 实践建议

编写 Kernel 时,始终明确区分哪个是 Resident Tile、哪个是 Streaming Tile。不要试图在最小存储层级让两者同时完美复用,这往往导致性能下降。复用策略应服务于存储层次的设计,而非数学上的对称性。

相关推荐
国科安芯40 分钟前
星载CANFD总线通信网络中抗辐射微控制器MCU的失效机理与容错设计研究
网络·人工智能·分布式·单片机·嵌入式硬件·架构·抗辐射加固
zlinear数据采集卡41 分钟前
FRAM铁电存储器原理深度解析:D223校准参数的“永久保险箱“
arm开发·人工智能·stm32·单片机·fpga开发·开源
poiu123465742 分钟前
海同科技可信吗?客观拆解职坐标平台背景与教学体系
人工智能
阿图灵1 小时前
OpenCV 算术运算四件套:NOT/AND/OR 位运算与图像混合
图像处理·人工智能·python·opencv·计算机视觉·位运算
这张生成的图像能检测吗1 小时前
(综述)基于遗传神经网络的不平衡故障诊断技术综述
人工智能·生成对抗网络·故障诊断
我叫张土豆1 小时前
在 OpenClaw Java 对话框输入一句话后,系统是如何运行的?
java·开发语言·人工智能
边吃番茄边敲代码1 小时前
企业智能助手Agent 安全测试,包含Prompt Injection 和越权工具调用
人工智能·python·功能测试·ai·单元测试·prompt·模块测试
科技小E1 小时前
自建团队、买SaaS、还是用自动化AI算法训练服务器DLTM?企业AI视觉三条路线算笔账
人工智能·深度学习·自动化
小鹿软件办公1 小时前
Apple Music 将于 2026 年底强制为 AI 音乐添加“由 AI 制作”标签
人工智能·苹果音乐ai生成标签·apple music