【知识】稀疏矩阵是否比密集矩阵更高效?

转载请注明出处:小锋学长生活大爆炸[xfxuezhang.cn]

问题提出

有些地方说,稀疏图比密集图的计算效率更高,真的吗?

原因猜想

这里的效率高,应该是有前提的:当使用稀疏矩阵的存储格式(如CSR)时,计算效率更高。如果是普通的完整矩阵格式,实际上效率一样。

稀疏矩阵的存储格式(如 COO、CSR 或 CSC)直接影响乘法的效率, 一些格式在某些类型的运算中更高效,因为它们可以更快地访问和处理非零元素。因此,当使用了稀疏矩阵存储格式时,如果矩阵非常稀疏(即大多数元素为零),那么使用稀疏矩阵进行矩阵乘法通常会更高效,因为可以跳过大量的零元素乘法操作。

代码验证

python 复制代码
import numpy as np
from scipy.sparse import csr_matrix
import time
import matplotlib.pyplot as plt
from tqdm import tqdm

def measure_time(matrix_size=1000, density=0.1):
    # 创建密集矩阵
    dense_matrix = np.random.rand(matrix_size, matrix_size)
    # 创建普通的稀疏矩阵
    sparse_matrix = dense_matrix < density
    sparse_matrix = sparse_matrix.astype(np.float64)
    # 将普通的稀疏矩阵转换为CSR格式
    csr_matrix_sparse = csr_matrix(sparse_matrix)

    # warmup
    for _ in range(5):
        np.dot(sparse_matrix, sparse_matrix)
    # 对普通的稀疏矩阵进行矩阵乘法,并计时
    start_time = time.time()
    _ = np.dot(sparse_matrix, sparse_matrix)
    sparse_time = time.time() - start_time

    # warmup
    for _ in range(5):
        np.dot(dense_matrix, dense_matrix)
    # 对密集矩阵进行矩阵乘法,并计时
    start_time = time.time()
    _ = np.dot(dense_matrix, dense_matrix)
    dense_time = time.time() - start_time

    # warmup
    for _ in range(5):
        csr_matrix_sparse.dot(csr_matrix_sparse)
    # 对CSR格式的稀疏矩阵进行矩阵乘法,并计时
    start_time = time.time()
    _ = csr_matrix_sparse.dot(csr_matrix_sparse)
    csr_time = time.time() - start_time

    return sparse_time, dense_time, csr_time

# 矩阵大小范围
sizes = np.arange(10, 1001, 10)
# 记录每种大小下的耗时
times_sparse = []
times_dense = []
times_csr = []
for size in tqdm(sizes):
    sparse_time, dense_time, csr_time = measure_time(matrix_size=size)
    times_sparse.append(sparse_time)
    times_dense.append(dense_time)
    times_csr.append(csr_time)
# 绘制结果
plt.figure(figsize=(10, 6))
plt.plot(sizes, times_sparse, label='sparse')
plt.plot(sizes, times_dense, label='dense')
plt.plot(sizes, times_csr, label='csr')
plt.xlabel('matrix size')
plt.ylabel('time (s)')
plt.title('matrix_size vs time')
plt.legend()
plt.show()


# 稀疏度范围
density = np.arange(0, 1, 0.01)
# 记录每种大小下的耗时
times_sparse = []
times_dense = []
times_csr = []
for den in tqdm(density):
    sparse_time, dense_time, csr_time = measure_time(density=den)
    times_sparse.append(sparse_time)
    times_dense.append(dense_time)
    times_csr.append(csr_time)
# 绘制结果
plt.figure(figsize=(10, 6))
plt.plot(density, times_sparse, label='sparse')
plt.plot(density, times_dense, label='dense')
plt.plot(density, times_csr, label='csr')
plt.xlabel('density')
plt.ylabel('time (s)')
plt.title('density vs time')
plt.legend()
plt.show()

从上图可以看出,随着矩阵大小的增大,三种形式的计算效率都在降低,但两种普通的完整矩阵形式的乘法,其效率的变化趋势是一致的。考虑到时间统计有波动,因此可以看成他俩实际上是一样的时间。

注意,上图中CSR的计算效率低于其他两者,是因为密集度为0.1。当密集度设置为0.01时,CSR的计算效率就会更高了。

从这个图可以看到,随着密集度的增加,CSR的效率逐渐变低,但普通的完整矩阵形式的乘法,其效率并没有发生变化。

相关推荐
进击的六角龙8 分钟前
深入浅出:使用Python调用API实现智能天气预报
开发语言·python
檀越剑指大厂8 分钟前
【Python系列】浅析 Python 中的字典更新与应用场景
开发语言·python
湫ccc16 分钟前
Python简介以及解释器安装(保姆级教学)
开发语言·python
孤独且没人爱的纸鹤19 分钟前
【深度学习】:从人工神经网络的基础原理到循环神经网络的先进技术,跨越智能算法的关键发展阶段及其未来趋势,探索技术进步与应用挑战
人工智能·python·深度学习·机器学习·ai
羊小猪~~23 分钟前
tensorflow案例7--数据增强与测试集, 训练集, 验证集的构建
人工智能·python·深度学习·机器学习·cnn·tensorflow·neo4j
lzhlizihang25 分钟前
python如何使用spark操作hive
hive·python·spark
q0_0p26 分钟前
牛客小白月赛105 (Python题解) A~E
python·牛客
极客代码29 分钟前
【Python TensorFlow】进阶指南(续篇三)
开发语言·人工智能·python·深度学习·tensorflow
庞传奇31 分钟前
TensorFlow 的基本概念和使用场景
人工智能·python·tensorflow
华清远见IT开放实验室39 分钟前
【每天学点AI】实战图像增强技术在人工智能图像处理中的应用
图像处理·人工智能·python·opencv·计算机视觉