并行计算

一文速通 Python 并行计算：13 Python 异步编程-基本概念与事件循环和回调机制Python 异步编程基于 async/await 构建协程，运行在事件循环中。协程生成 Task，遇到 await 时挂起，I/O 完成触发回调恢复运行，通过事件循环非阻塞调度并发任务，实现单线程高并发。

一文速通 Python 并行计算：12 Python 多进程编程-进程池 Pool在Python多进程编程中，Pool类用于创建进程池，可并行执行多个任务。通过map、apply等方法，将函数和参数分发到子进程，提高CPU利用率，简化进程管理，便于资源复用。适用于CPU密集型场景。

一文速通Python并行计算：11 Python多进程编程-进程之间的数据安全传输-基于队列和管道Python 多进程中，Queue 和 Pipe 提供进程间安全通信。Queue 依赖锁和缓冲区，保障数据原子性和有序性；Pipe 实现点对点单/双向数据流。二者内置序列化，简化交换流程，确保一致性与安全性高效。

PARSCALE：大语言模型的第三种扩展范式----->更多内容，请移步“鲁班秘笈”！！<-----随着人工智能技术的飞速发展，大语言模型（LLM）已成为推动机器智能向通用人工智能（AGI）迈进的核心驱动力。然而，传统的模型扩展方法正面临着前所未有的挑战：参数扩展需要巨大的存储空间，推理时扩展则带来显著的时间成本。在这一背景下，最近有研究团队提出了一种全新的扩展范式——PARSCALE（并行扩展），为大语言模型的发展开辟了第三条道路。

明月看潮生

青少年编程与数学 02-018 C++数据结构与算法 22课题、并行算法课题摘要并行算法是通过同时执行多个任务或操作来提高计算效率的算法。GPU（图形处理单元）并行计算利用GPU的多核心架构，同时处理多个任务或数据片段，特别适合数据密集型和计算密集型的应用。

一文速通Python并行计算：09 Python多进程编程-进程之间的数据同步-基于互斥锁、递归锁、信号量、条件变量、事件和屏障多进程同步机制包括互斥锁、递归锁、信号量、条件变量、事件和屏障等：互斥锁用于保护共享资源，递归锁支持同一进程重复加锁，信号量可控制访问资源的数量，条件变量用于进程间等待特定条件，事件用于进程间通信和同步，屏障用于多个进程在特定点同步，确保协同运行。

明月看潮生

青少年编程与数学 02-016 Python数据结构与算法 22课题、并行算法课题摘要: 并行算法是通过同时执行多个任务或操作来提高计算效率的算法。关键词：并行、GPU、MPI、多线程、多进程、SIMD

一文速通 Python 并行计算：07 Python 多线程编程-线程池的使用和多线程的性能评估本文介绍了 Python 线程池(ThreadPoolExecutor)的使用方法，包括线程池的基本概念、Future 对象、任务提交方式(map/submit)、结果获取技巧，以及多线程性能评估工具 VizTracer 的使用。

一文速通 Python 并行计算：06 Python 多线程编程-基于队列进行通信队列是一种线性数据结构，支持先进先出（FIFO）操作，常用于解耦生产者和消费者。慢速生产-快速消费场景中，队列作为缓冲区平衡速度差异。LifoQueue 是后进先出（LIFO）的栈式队列，适用于撤销操作等场景。PriorityQueue 则按优先级排序，适合任务调度等需要优先处理的场景。这三种队列分别通过 Queue、LifoQueue 和 PriorityQueue 类实现，提供 put()、get()等方法，是并发编程中线程安全的重要工具。

一文速通Python并行计算：06 Python多线程编程-基于队列进行通信队列是一种线性数据结构，支持先进先出（FIFO）操作，常用于解耦生产者和消费者。慢速生产-快速消费场景中，队列作为缓冲区平衡速度差异。LifoQueue 是后进先出（LIFO）的栈式队列，适用于撤销操作等场景。PriorityQueue 则按优先级排序，适合任务调度等需要优先处理的场景。这三种队列分别通过 Queue、LifoQueue 和 PriorityQueue 类实现，提供 put()、get()等方法，是并发编程中线程安全的重要工具。

一文速通 Python 并行计算：05 Python 多线程编程-线程的定时运行本文主要讲述了 Python 如何实现定时任务，主要有四种方式：通过 threading.Timer 类、通过 sched 模块、通过 threading.Event 事件机制、通过 APScheduler 第三方库，结合例程分析了各自使用场景和基本方法。

一文速通Python并行计算：03 Python多线程编程-多线程同步（上）—基于互斥锁、递归锁和信号量在 Python 多线程编程中，线程同步是确保多个线程安全访问共享资源的关键技术。本篇文章介绍了互斥锁（Lock）、递归锁（RLock）和信号量（Semaphore）的概念与应用。互斥锁用于防止多个线程同时修改数据，递归锁适用于嵌套锁定场景，而信号量则限制同时访问资源的线程数。

一文速通Python并行计算：02 Python多线程编程-threading模块、线程的创建和查询与守护线程本文介绍了 Python threading 模块的核心功能，包括线程创建与管理、线程状态监控以及守护线程的特殊应用，重点讲解了 Thread 类的实例化方法、获取当前线程信息、检测线程存活状态，以及如何实现后台线程。

一文速通Python并行计算：01 Python多线程编程-基本概念、切换流程、GIL锁机制和生产者与消费者模型多线程允许程序同时执行多个任务，提升效率和响应性。线程分为新建、就绪、运行、阻塞和死亡五种状态。Python的GIL锁限制多线程并行执行，适合I/O密集型任务。生产者-消费者模型通过共享缓冲区和条件变量实现线程协作，解决数据共享问题。

心态与习惯

Gurobi 并行计算的一些问题最近尝试用 gurobi 进行并行计算，即同时用多个 cpu 核计算 gurobi 的 model，但是发现了不少问题。总体来看，gurobi 对并行计算的支持并不是那么好。

并行计算、分布式计算与云计算：概念剖析与对比研究（表格对比）什么是并行计算？什么是分布计算？什么是云计算？我们如何更好理解这3个概念，我们采用概念之间的区别和联系的方式来理解，做到切实理解，深刻体会。

【CUDA】CUDA Hierarchy首先简单介绍CUDA 编程的基本概念：讲解 Host（CPU）与 Device（GPU）的区别、内存管理以及 CUDA 运行时的工作机制。

大数据新视界 --大数据大厂之基于 MapReduce 的大数据并行计算实践💖💖💖亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。💖💖💖

华为云开发者联盟

探秘数据库中的并行计算技术应用本文分享自华为云社区《【GaussTech技术专栏】数据库中并行计算技术应用探秘》，作者：GaussDB数据库。

【并行计算】【《并行程序设计导论》笔记】第二章：并行硬件和并行软件个人主页：丷从心·系列专栏：并行计算