3.26[a]paracompute homework

444

3333

| | ​多线程 | ​多进程 |
| ​内存模型 | 共享同一进程的地址空间(全局变量、堆内存等) | 每个进程拥有独立地址空间,需通过IPC(管道、共享内存等)通信 |
| ​资源开销 | 线程创建/切换仅需分配栈空间 | 需复制父进程资源(内存、文件描述符等),上下文切换成本高 |
| ​同步与互斥 | 需锁机制(互斥锁、信号量等)避免数据竞争 | 进程间资源隔离,天然避免内存竞争(但需处理IPC同步) |

​稳定性 线程崩溃可能导致整个进程终止 进程间隔离,单个进程崩溃不影响其他进程

多线程主要目的在于避免空闲的未使用资源,多进程的目的在于利用冗余的资源。

多线程可充分利用多核CPU并行执行;上下文切换仅涉及寄存器/栈,开销较小;线程之间能够更高效地实现资源共享,无需复杂的IPC机制。

​方法 ​行为 ​资源管理 ​注意事项
​join() 阻塞调用线程,等待目标线程执行完成 自动回收线程资源(栈、寄存器状态等) - 必须在析构前调用,否则触发std::terminate() - 同一线程只能join一次
​detach() 分离线程生命周期,使其成为后台守护线程 资源由运行时(C++)或init进程(Linux)回收 - 分离后无法再join - 需确保线程不访问已销毁对象

一句话来讲,join方法产生的子线程是由调用线程管理的,而detach产生的子线程脱离了调用线程,由系统负责管理

22222

虚假共享是指多个线程访问同一缓存行中不同变量时,因为修改导致缓存一致性协议频繁触发,从而降低性能。具体来说,现代CPU的缓存以64字节的缓存行为单位管理,当一个线程修改缓存行中的数据时,其他线程的该缓存行会被标记为无效,需要重新从内存加载,即使这些线程操作的是缓存行中不同的变量

原因可归纳为一下两点:1.变量在内存中连续存储,可能被分配到同一缓存行,而MESI协议以缓存行为最小单位维护一致性,无法区分变量是否真正共享。2.​不同线程修改同一缓存行中的独立变量,触发缓存行无效化

1111

冯·诺依曼瓶颈指计算机中CPU与内存之间的数据传输速率远低于CPU计算速度,导致CPU因等待数据而空转的性能瓶颈。

在矩阵乘法运算中,利用缓存能够加快CPU获取矩阵数据,这主要基于空间局部性和时间局部性的原理;对于空间局部性,CPU按缓存行加载数据,一次加载可满足8次相邻地址浮点数之间的访问需求,此外,将B矩阵转置存储于缓存中,使 Bkj 按行访问,可避免跳跃式内存访问导致的缓存失效,从而可以进一步加快矩阵乘法计算速度;对于时间局部性,缓存可以避免重复从内存加载相同数据,如计算 Cij 时需遍历 A 的第 i 行和 B 的第 j 列,若这些数据缓存在L1/L2中,后续计算 Cik 或 Ckj 时可复用

其核心原因是冯·诺依曼架构中指令和数据共享同一总线,导致取指令和取数据无法并行

例如,当CPU需要频繁访问内存时,总线带宽不足会显著降低吞吐量,尤其在处理大规模数据时(如深度学习的矩阵运算)

在矩阵乘法W=U×V中,缓存通过以下机制缓解瓶颈:

  1. 时间局部性:频繁访问的行列元素(如U的行向量和V的列向量)被保留在高速缓存中,减少内存访问次数
相关推荐
FRing0313 分钟前
vue2干货总结2(v-bind、v-for、v-model、指令修饰符、v-bind操作class和style)
开发语言·前端·vue.js·vue2
by2099941 分钟前
C++ 智能指针的所有权与使用
开发语言·c++·经验分享
砚底藏山河1 小时前
python量化自定义周期 K 线合成
java·开发语言·数据库·python·金融
IT召唤狮1 小时前
开源企业级零信任项目Pangolin,零信任能挡住PHP核弹漏洞吗?
开发语言·开源·php
知已难寻1 小时前
03 · OpenStack的计算管理 Nova
运维·服务器·开发语言·云原生·云计算·openstack·开源软件
Rover Ramble1 小时前
C++ 用互斥锁实现读写锁
开发语言·c++
猿究院_夏燊1 小时前
MySQL 的四种隔离级别
java·数据库·mysql
码流子2 小时前
移动收费怎么做?手持终端+App+收费中心的架构实践
java·开发语言·架构
雪落漂泊2 小时前
C++算法 滑动窗口篇(下)
开发语言·c++
霸道流氓气质2 小时前
AI 流式对话与实时聊天平台:SSE 解码竞态、有状态会话隔离与背压取消的 Vue3 + Spring AI 生产级实战
java·人工智能·spring