CUDA C | 第一章 基于CUDA的异构并行计算

目录

1.1并行计算

[1.1.1 串行编程和并行编程](#1.1.1 串行编程和并行编程)

[1.1.2 并行性](#1.1.2 并行性)

[1.1.3 计算机架构](#1.1.3 计算机架构)


1.1并行计算

并行计算通常涉及两 个不同的计算技术领域。

·计算机架构(硬件方面)

·并行程序设计(软件方面)

计算机架构 关注的是在结构级别上支持并行性,而并行编程设计关注的是充分使用计算机架构的计算能力来并发地解决问题。为了在软件中实现并行执行,硬件必须提供一个支持并行执行多进程或多线程的平台。

1.1.1 串行编程和并行编程

1.1.2 并行性

在应用程序中有两种基本的并行类型

·任务并行

·数据并行

当许多任务或函数可以独立地、大规模地并行执行时,这就是任务并行。任务并行的重点在于利用多核系统对任务进行分配。

当可以同时处理许多数据时,这就是数据并行。数据并行的重点在于利用多核系统对数据进行分配。

通常来说,有两种方法可以对数据进行划分:块划分(block partitioning)和周期划分 (cyclic partitioning)。

在块划分中,一组连续的数据被分到一个块内。每个数据块以任意次序被安排给一个线程,线程通常在同一时间只处理一个数据块。

在周期划分中,更少的数据被分到一个块内。相邻的线程处理相邻的数据块,每个线程可以处理多个数据块。 为一个待处理的线程选择一个新的块,就意味着要跳过和现有线程一样多的数据块。

程序性能通常对块的大小比较敏感。块划分与周期划分中划分方式的选择与计算机架 构有密切关系。

1.1.3 计算机架构

根据指令和数据进入CPU的方式,将计算机架构分为4种不同 的类型

·单指令单数据(SISD) ·单指令多数据(SIMD) ·多指令单数据(MISD) ·多指令多数据(MIMD)

延迟是一个操作从开始到完成所需要的时间,常用微秒来表示。

带宽是单位时间内可处理的数据量,通常表示为MB/s或GB/s。

吞吐量是单位时间内成功处理的运算数量,通 常表示为gflops(即每秒十亿次的浮点运算数量),特别是在重点使用浮点计算的科学计算领域经常用到。

延迟用来衡量完成一次操作的时间,而吞吐量用来衡量在给定的单位时间内处理的操作量。

计算机架构也能根据内存组织方式进行进一步划分,一般可以分成下面两种类型。

·分布式内存的多节点系统

·共享内存的多处理器系统

GPU核心和CPU核心:

CPU核心比较重,用来处理非常复杂的控制逻辑,以优化串行程序执行。

GPU核心较轻,用于优化具有简单控制逻辑的数据并行任务,注重并行程序的吞吐量。

相关推荐
朱包林22 分钟前
day45-nginx复杂跳转与https
linux·运维·服务器·网络·云计算
孙克旭_24 分钟前
day045-nginx跳转功能补充与https
linux·运维·nginx·https
美狐美颜sdk2 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
孞㐑¥2 小时前
Linux之Socket 编程 UDP
linux·服务器·c++·经验分享·笔记·网络协议·udp
DeepSeek-大模型系统教程2 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
郭庆汝2 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
小雷FansUnion4 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周4 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
水木兰亭5 小时前
数据结构之——树及树的存储
数据结构·c++·学习·算法
思则变5 小时前
[Pytest] [Part 2]增加 log功能
开发语言·python·pytest