CUDA C | 第一章 基于CUDA的异构并行计算

目录

1.1并行计算

[1.1.1 串行编程和并行编程](#1.1.1 串行编程和并行编程)

[1.1.2 并行性](#1.1.2 并行性)

[1.1.3 计算机架构](#1.1.3 计算机架构)


1.1并行计算

并行计算通常涉及两 个不同的计算技术领域。

·计算机架构(硬件方面)

·并行程序设计(软件方面)

计算机架构 关注的是在结构级别上支持并行性,而并行编程设计关注的是充分使用计算机架构的计算能力来并发地解决问题。为了在软件中实现并行执行,硬件必须提供一个支持并行执行多进程或多线程的平台。

1.1.1 串行编程和并行编程

1.1.2 并行性

在应用程序中有两种基本的并行类型

·任务并行

·数据并行

当许多任务或函数可以独立地、大规模地并行执行时,这就是任务并行。任务并行的重点在于利用多核系统对任务进行分配。

当可以同时处理许多数据时,这就是数据并行。数据并行的重点在于利用多核系统对数据进行分配。

通常来说,有两种方法可以对数据进行划分:块划分(block partitioning)和周期划分 (cyclic partitioning)。

在块划分中,一组连续的数据被分到一个块内。每个数据块以任意次序被安排给一个线程,线程通常在同一时间只处理一个数据块。

在周期划分中,更少的数据被分到一个块内。相邻的线程处理相邻的数据块,每个线程可以处理多个数据块。 为一个待处理的线程选择一个新的块,就意味着要跳过和现有线程一样多的数据块。

程序性能通常对块的大小比较敏感。块划分与周期划分中划分方式的选择与计算机架 构有密切关系。

1.1.3 计算机架构

根据指令和数据进入CPU的方式,将计算机架构分为4种不同 的类型

·单指令单数据(SISD) ·单指令多数据(SIMD) ·多指令单数据(MISD) ·多指令多数据(MIMD)

延迟是一个操作从开始到完成所需要的时间,常用微秒来表示。

带宽是单位时间内可处理的数据量,通常表示为MB/s或GB/s。

吞吐量是单位时间内成功处理的运算数量,通 常表示为gflops(即每秒十亿次的浮点运算数量),特别是在重点使用浮点计算的科学计算领域经常用到。

延迟用来衡量完成一次操作的时间,而吞吐量用来衡量在给定的单位时间内处理的操作量。

计算机架构也能根据内存组织方式进行进一步划分,一般可以分成下面两种类型。

·分布式内存的多节点系统

·共享内存的多处理器系统

GPU核心和CPU核心:

CPU核心比较重,用来处理非常复杂的控制逻辑,以优化串行程序执行。

GPU核心较轻,用于优化具有简单控制逻辑的数据并行任务,注重并行程序的吞吐量。

相关推荐
熬夜苦读学习4 分钟前
Linux进程信号
linux·c++·算法
郝YH是人间理想6 分钟前
OpenCV基础——傅里叶变换、角点检测
开发语言·图像处理·人工智能·python·opencv·计算机视觉
__Benco6 分钟前
OpenHarmony子系统开发 - 安全(十)
人工智能·harmonyos
白白糖7 分钟前
二叉树 递归
python·算法·力扣
odoo中国9 分钟前
深度学习 Deep Learning 第16章 结构化概率模型
人工智能·深度学习·结构化模型
白熊18814 分钟前
【计算机视觉】OpenCV实战项目- 抖音动态小表情
人工智能·opencv·计算机视觉
to future_16 分钟前
非阻塞IO,fcntl,多路转接,select,poll,epoll,reactor
linux·网络协议
摸鱼仙人~16 分钟前
为什么有的深度学习训练,有训练集、验证集、测试集3个划分,有的只是划分训练集和测试集?
人工智能·深度学习
机器之心17 分钟前
7B扩散LLM,居然能跟671B的DeepSeek V3掰手腕,扩散vs自回归,谁才是未来?
人工智能
榆榆欸19 分钟前
14.主从Reactor+线程池模式,Connection对象引用计数的深入分析
linux·服务器·网络·c++·tcp/ip