矩阵计算性能优化-初探

背景

矩阵计算无论是在高性能计算还是深度学习中,都是比较常用的操作,常规的矩阵相乘包括大量的浮点数计算或者乘加运算,是典型的计算密集型算子。矩阵运算的性能直接展示了程序员设计的矩阵算法对CPU的利用能力。

FLOPS和FLOPs

  • FLOPS 意指每秒浮点运算次数。用来衡量硬件的性能
  • FLOPs 是浮点运算次数,可以用来衡量算法/模型复杂度

在性能优化的过程中,我们首先需要获取当前硬件的FLOPS,再通过FLOPs / cost_time 获取当前算法每秒的浮点运算次数,通过比较两者之间的差距,衡量自己对CPU的利用能力。

那么,同样是计算,为什么利用能力会有差距呢? 现代计算机系统使用多级缓存来减少处理器与主存之间的数据传输延迟。矩阵计算算法设计主要考虑如何使用更好的数据访问模式以减少cache miss。 在硬件水平相同,不考虑并行处理与分布式计算带来的通信开销的情况下,降低cache miss,可以显著提高性能。

矩阵计算常规实现

以下是一个矩阵计算的常规实现

C++ 复制代码
void naive_gemm(const float* A, const float* B, float* C, const int M, const int N, const int K) { 
    for (int m = 0; m < M; ++m) {  // 循环1
        for (int n = 0; n < N; ++n) {  // 循环2
            for (int k = 0; k < K; ++k) {  // 循环3
                C[m * N + n] += A[m * K + k] * B[k * N + n];
            }
        } 
    } 
}

为了方便后面讲述,这里为每个循环添加了标记

我们可以看到,每次循环都会获取不同列的值,在矩阵本身按行存储的同时,相当于每次获取同一列的不同数据时,都要读取。这会大大增加cache miss的频率。

矩阵计算优化1

C++ 复制代码
void naive_gemm(const float* A, const float* B, float* C, const int M, const int N, const int K) { 
    for (int m = 0; m < M; ++m) {  // 循环1
        for (int k = 0; k < K; ++k) {  // 循环3
            for (int n = 0; n < N; ++n) {  // 循环2
                C[m * N + n] += A[m * K + k] * B[k * N + n];
            }
        } 
    } 
}

通过对循环进行重排我们发现,

每次循环从获取B的每列不同值变成了每行不同值,这就让我们可以通过一次读取矩阵一行的数据写入cache这个行为可以获得收益,而不是每次循环都会造成cache miss。通过这种方式可以大大增加矩阵计算的性能。

相关推荐
吃辣我第一6 小时前
大体量 GeoJSON 性能优化实战:普通加载 vs geojson-vt 矢量瓦片(388MB 实测)
性能优化
Keith Guo9 小时前
ESP32-S31芯片架构中文件系统在不同的Flash的位置对PSRAM的性能影响
性能优化·架构·esp32
JMchen12313 小时前
【Android 性能优化实战 60 讲】12 异步 Inflate 实战与痛击:源码拆解原生瓶颈,手写增强版布局预加载框架
android·性能优化·实战·启动优化·异步inflate·x2c
Flynt1 天前
Java4Shell 实测:EPYC 一跑就中招,关掉 Base64 硬件加速,1KB 解码慢 14 倍
java·安全·性能优化
利威尔xu1 天前
PostgreSQL 索引失效 4 类:函数运算让查询全表扫描拖垮性能
开发语言·数据库·postgresql·性能优化·索引优化
爱写Bug的浮游2 天前
C++移动构造真的比拷贝快吗
c++·性能优化
Flynn Liang2 天前
Java 虚拟线程别乱用:I/O 密集型服务的线程模型与并发度计算
java·spring boot·性能优化·高并发·线程池·虚拟线程
Flynn Liang3 天前
I/O 密集型高并发实战:Java 服务 10 维优化,从线程打满到 10 万 QPS
java·spring boot·性能优化·高并发·系统设计·虚拟线程·io密集型
隔窗听雨眠3 天前
Spring Boot启动提速的机制剖析与调优路径
性能优化·springboot·后端开发
码间留白3 天前
AI 给的两个方案都被我否了:把 startIcon 与启动遮罩做成同一张图,鸿蒙 APP 冷启动零白屏
性能优化·uni-app·ai编程·harmonyos