稠密矩阵和稀疏矩阵的对比

稠密矩阵和稀疏矩阵的对比

计算图的邻接矩阵时跑不动,爆内存,运行自动停止:

python 复制代码
GPU state:  True
Dataset: assist2012, Ques number: 53091, Skill number: 265

Killed

Dense(稠密矩阵)

稠密矩阵(dense matrix)就是每个元素都显式存储在内存里的矩阵。

例如一个 3×3 的矩阵:

A = [[1, 0, 2],

0, 0, 3\], \[4, 0, 5\]

在稠密矩阵里,即使很多元素是 0,0 也会占内存存储。

特点:

内存占用 = 元素个数 × 每个元素大小

矩阵乘法、加法等操作都是针对所有元素进行的

小矩阵无所谓,但大矩阵(尤其是几百万 × 几百万)会 爆内存

Sparse(稀疏矩阵)

**稀疏矩阵(sparse matrix)**只存储 非零元素及其索引

上面的矩阵,如果只存非零元素,会存成:

值: [1,2,3,4,5]

行索引: [0,0,1,2,2]

列索引: [0,2,2,0,2]

内存占用 ≈ 非零元素数 × (值+索引)

当矩阵大而且大部分是 0 时,稀疏矩阵内存节省巨大

3️⃣ 为什么你的 G 计算爆内存

你原来的代码:

G = DV2 * H * W * invDE * HT * DV2

H 是 (百万 × 几百)

HT 是 (几百 × 百万)

当你相乘时,中间结果就成了 (百万 × 百万) 的矩阵 dense

即便大部分元素是 0,也会被完整存储,导致内存瞬间 TB 级别 → 爆掉

4️⃣ 总结

Dense 计算 = 所有元素都存储和计算,即使是 0

Sparse 计算 = 只存储非零元素,用稀疏算法计算,节省内存

对你的超图 G,必须全程稀疏矩阵计算,否则不可能在普通电脑上跑

相关推荐
计算机软件程序设计5 小时前
基于Python的二手车价格数据分析与预测系统的设计与实现
开发语言·python·数据分析·预测系统
mortimer6 小时前
Traceback 模块:`format_exc` 和 `format_exception` 傻傻分不清
python
Cherry Zack6 小时前
了解Django模型,从基础到实战
python·学习·django
qq7422349847 小时前
语音识别:PyAudio、SoundDevice、Vosk、openai-whisper、Argos-Translate、FunASR(Python)
python·whisper·语音识别
曾经的三心草7 小时前
OpenCV2-图像基本操作-阈值与平滑处理-形态学-梯度运算
python·opencv
xiangzhihong87 小时前
Spring Boot实现文字转语音功能
开发语言·python
天才测试猿8 小时前
postman使用总结
自动化测试·软件测试·python·测试工具·测试用例·接口测试·postman
可触的未来,发芽的智生8 小时前
新奇特:神经网络烘焙坊(下),万能配方的甜蜜奥义
人工智能·python·神经网络·算法·架构
计算机毕业设计指导9 小时前
基于Django的内部网络资产发现与管理工具
网络·python·网络安全·django
程序员大辉9 小时前
python代码案例分享,python实现代码雨,动画显示,pygame使用教程
开发语言·python