【infra之路】矩阵乘法(GEMM) Tiling 复用机制总结

在 C=A×BC = A \times BC=A×B 的 Tiling 优化中,关于"A 和 B 是否都被复用"的结论如下:

1. 核心结论
  • 理论层面:A 和 B 的总复用次数是对称的(A 复用 N 次,B 复用 M 次)。
  • 工程实现层面 :在单级 Tiling 的最内层计算循环中,通常只有一个切块被真正"驻留复用",另一个是"流式加载"。你的直觉是正确的。
2. 为什么只复用一个?

受限于片上存储(Register/L1/Shared Memory)容量,无法同时容纳所有数据。必须做出选择:

  • 驻留数据 (Resident):被加载一次后,在内层循环中被反复使用(通常是 A)。
  • 流式数据 (Streaming):每次迭代加载新块,用完即弃(通常是 B)。
  • 决定因素:取决于循环嵌套顺序(Loop Ordering)和 MNK 的形状,而非矩阵本身。
3. 例外情况

只有在 2D Tiling 或 多级存储层次 设计中,为了追求极致算术强度,才会让 A 和 B 同时在片上驻留并交叉复用。但这属于高阶优化,非常规默认行为。

💡 实践建议

编写 Kernel 时,始终明确区分哪个是 Resident Tile、哪个是 Streaming Tile。不要试图在最小存储层级让两者同时完美复用,这往往导致性能下降。复用策略应服务于存储层次的设计,而非数学上的对称性。

相关推荐
吴名氏.11 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
东坡肘子11 小时前
把「更好」放在「更快」之前 -- 肘子的 Swift 周报 #162
人工智能·swiftui·swift
Csvn21 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库1 天前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静1 天前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康1 天前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea1 天前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen1 天前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能