并行计算

CUDA 编程完全理解系列（第四篇）：硬件视角下的索引变量与分级内存机制前三篇文章中，我们理解了 GPU 的设计哲学（用并发隐藏延迟）和硬件的工作流程（GigaThread 分配 Block，Warp Scheduler 轮流执行）以及dim3的底层逻辑。

CUDA 编程完全理解系列（第二篇）：从 Block 生命周期理解调度在第一篇中，我们从设计哲学层面理解了为什么 GPU 需要大量线程来隐藏内存延迟。下面我们以厨师炒菜为例，复习一下上一篇的核心思想。厨师（核心）炒菜太快，但是配菜时间太长，所以多加几个灶台和配菜地方，厨师优先去准备好的灶台工作，其他灶台备菜，厨师工作完毕，然后“瞬间移动”去其准备好的灶台继续工作，而行政总厨（warp scheduler）负责调度，最大限度发挥厨师的工作效率，减少其等待切配的时间。

CUDA 编程完全理解系列（第一篇）：GPU 的设计哲学与硬件架构基础当你打开 Autoware CenterPoint 的源码时，会看到大量 CUDA kernel 和核函数调用。很多人的反应是"代码太复杂，看不懂"。但其实，CUDA 的复杂性不在代码层面，而在思维模式——它要求你用"数据并行"的方式重新思考问题。

并行程序设计与实现1.使用SPMD编程模式编写求解的MPI程序。采用数值积分法（积分），SPMD 模式下每个进程计算区间的一部分，最终汇总结果。

charlie114514191

AVX 指令集系列深度介绍：领域、意义、以及 AVX AVX2 的基本用法与样例PS下，笔者不是专门做这一块的，是聊天的时候聊到这里，发现这个领域对我而言相当的陌生，打算好好的记录个笔记唠下，所以我没办法完全保证我搜集得到的内容百分百准确。看官自行评判。

CUDA 调试器 sanitizer，检测数据竞争，竞争条件 race condition有数据竞争的代码 race.cu：命令：试了几次，只能检测到第二种数据竞争，不知道为什么

(done) 并行计算 CS149 Lecture10 (DNN评估与优化)url: https://www.bilibili.com/video/BV1du17YfE5G?spm_id_from=333.788.videopod.sections&vd_source=7a1a0bc74158c6993c7355c5490fc600&p=10

一文速通 Python 并行计算：教程总结本教程是一个系统性的 Python 并行计算实战指南，它从并行计算的基本概念出发，循序渐进地深入讲解了 Python 中实现并发的三大核心范式：多线程、多进程和异步编程。它不仅详细剖析了多线程的 GIL 机制、各种同步原语（锁、信号量、条件变量等）和通信方式（队列），还清晰地对比了多进程在突破 GIL 限制、实现真正并行计算上的优势，涵盖了进程间数据共享与通信的多种方案（共享内存、管理器、管道）。最后，教程引入了现代的异步编程模型，解释了事件循环和协程如何高效处理高 I/O 密集型任务。整个系列结构清晰，

一文速通 Python 并行计算：13 Python 异步编程-基本概念与事件循环和回调机制Python 异步编程基于 async/await 构建协程，运行在事件循环中。协程生成 Task，遇到 await 时挂起，I/O 完成触发回调恢复运行，通过事件循环非阻塞调度并发任务，实现单线程高并发。

一文速通 Python 并行计算：12 Python 多进程编程-进程池 Pool在Python多进程编程中，Pool类用于创建进程池，可并行执行多个任务。通过map、apply等方法，将函数和参数分发到子进程，提高CPU利用率，简化进程管理，便于资源复用。适用于CPU密集型场景。

一文速通Python并行计算：11 Python多进程编程-进程之间的数据安全传输-基于队列和管道Python 多进程中，Queue 和 Pipe 提供进程间安全通信。Queue 依赖锁和缓冲区，保障数据原子性和有序性；Pipe 实现点对点单/双向数据流。二者内置序列化，简化交换流程，确保一致性与安全性高效。

PARSCALE：大语言模型的第三种扩展范式----->更多内容，请移步“鲁班秘笈”！！<-----随着人工智能技术的飞速发展，大语言模型（LLM）已成为推动机器智能向通用人工智能（AGI）迈进的核心驱动力。然而，传统的模型扩展方法正面临着前所未有的挑战：参数扩展需要巨大的存储空间，推理时扩展则带来显著的时间成本。在这一背景下，最近有研究团队提出了一种全新的扩展范式——PARSCALE（并行扩展），为大语言模型的发展开辟了第三条道路。

明月看潮生

青少年编程与数学 02-018 C++数据结构与算法 22课题、并行算法课题摘要并行算法是通过同时执行多个任务或操作来提高计算效率的算法。GPU（图形处理单元）并行计算利用GPU的多核心架构，同时处理多个任务或数据片段，特别适合数据密集型和计算密集型的应用。

一文速通Python并行计算：09 Python多进程编程-进程之间的数据同步-基于互斥锁、递归锁、信号量、条件变量、事件和屏障多进程同步机制包括互斥锁、递归锁、信号量、条件变量、事件和屏障等：互斥锁用于保护共享资源，递归锁支持同一进程重复加锁，信号量可控制访问资源的数量，条件变量用于进程间等待特定条件，事件用于进程间通信和同步，屏障用于多个进程在特定点同步，确保协同运行。

明月看潮生

青少年编程与数学 02-016 Python数据结构与算法 22课题、并行算法课题摘要: 并行算法是通过同时执行多个任务或操作来提高计算效率的算法。关键词：并行、GPU、MPI、多线程、多进程、SIMD

一文速通 Python 并行计算：07 Python 多线程编程-线程池的使用和多线程的性能评估本文介绍了 Python 线程池(ThreadPoolExecutor)的使用方法，包括线程池的基本概念、Future 对象、任务提交方式(map/submit)、结果获取技巧，以及多线程性能评估工具 VizTracer 的使用。

一文速通 Python 并行计算：06 Python 多线程编程-基于队列进行通信队列是一种线性数据结构，支持先进先出（FIFO）操作，常用于解耦生产者和消费者。慢速生产-快速消费场景中，队列作为缓冲区平衡速度差异。LifoQueue 是后进先出（LIFO）的栈式队列，适用于撤销操作等场景。PriorityQueue 则按优先级排序，适合任务调度等需要优先处理的场景。这三种队列分别通过 Queue、LifoQueue 和 PriorityQueue 类实现，提供 put()、get()等方法，是并发编程中线程安全的重要工具。

一文速通Python并行计算：06 Python多线程编程-基于队列进行通信队列是一种线性数据结构，支持先进先出（FIFO）操作，常用于解耦生产者和消费者。慢速生产-快速消费场景中，队列作为缓冲区平衡速度差异。LifoQueue 是后进先出（LIFO）的栈式队列，适用于撤销操作等场景。PriorityQueue 则按优先级排序，适合任务调度等需要优先处理的场景。这三种队列分别通过 Queue、LifoQueue 和 PriorityQueue 类实现，提供 put()、get()等方法，是并发编程中线程安全的重要工具。

一文速通 Python 并行计算：05 Python 多线程编程-线程的定时运行本文主要讲述了 Python 如何实现定时任务，主要有四种方式：通过 threading.Timer 类、通过 sched 模块、通过 threading.Event 事件机制、通过 APScheduler 第三方库，结合例程分析了各自使用场景和基本方法。

一文速通Python并行计算：03 Python多线程编程-多线程同步（上）—基于互斥锁、递归锁和信号量在 Python 多线程编程中，线程同步是确保多个线程安全访问共享资源的关键技术。本篇文章介绍了互斥锁（Lock）、递归锁（RLock）和信号量（Semaphore）的概念与应用。互斥锁用于防止多个线程同时修改数据，递归锁适用于嵌套锁定场景，而信号量则限制同时访问资源的线程数。