CUDA C | 第一章 基于CUDA的异构并行计算

目录

1.1并行计算

[1.1.1 串行编程和并行编程](#1.1.1 串行编程和并行编程)

[1.1.2 并行性](#1.1.2 并行性)

[1.1.3 计算机架构](#1.1.3 计算机架构)


1.1并行计算

并行计算通常涉及两 个不同的计算技术领域。

·计算机架构(硬件方面)

·并行程序设计(软件方面)

计算机架构 关注的是在结构级别上支持并行性,而并行编程设计关注的是充分使用计算机架构的计算能力来并发地解决问题。为了在软件中实现并行执行,硬件必须提供一个支持并行执行多进程或多线程的平台。

1.1.1 串行编程和并行编程

1.1.2 并行性

在应用程序中有两种基本的并行类型

·任务并行

·数据并行

当许多任务或函数可以独立地、大规模地并行执行时,这就是任务并行。任务并行的重点在于利用多核系统对任务进行分配。

当可以同时处理许多数据时,这就是数据并行。数据并行的重点在于利用多核系统对数据进行分配。

通常来说,有两种方法可以对数据进行划分:块划分(block partitioning)和周期划分 (cyclic partitioning)。

在块划分中,一组连续的数据被分到一个块内。每个数据块以任意次序被安排给一个线程,线程通常在同一时间只处理一个数据块。

在周期划分中,更少的数据被分到一个块内。相邻的线程处理相邻的数据块,每个线程可以处理多个数据块。 为一个待处理的线程选择一个新的块,就意味着要跳过和现有线程一样多的数据块。

程序性能通常对块的大小比较敏感。块划分与周期划分中划分方式的选择与计算机架 构有密切关系。

1.1.3 计算机架构

根据指令和数据进入CPU的方式,将计算机架构分为4种不同 的类型

·单指令单数据(SISD) ·单指令多数据(SIMD) ·多指令单数据(MISD) ·多指令多数据(MIMD)

延迟是一个操作从开始到完成所需要的时间,常用微秒来表示。

带宽是单位时间内可处理的数据量,通常表示为MB/s或GB/s。

吞吐量是单位时间内成功处理的运算数量,通 常表示为gflops(即每秒十亿次的浮点运算数量),特别是在重点使用浮点计算的科学计算领域经常用到。

延迟用来衡量完成一次操作的时间,而吞吐量用来衡量在给定的单位时间内处理的操作量。

计算机架构也能根据内存组织方式进行进一步划分,一般可以分成下面两种类型。

·分布式内存的多节点系统

·共享内存的多处理器系统

GPU核心和CPU核心:

CPU核心比较重,用来处理非常复杂的控制逻辑,以优化串行程序执行。

GPU核心较轻,用于优化具有简单控制逻辑的数据并行任务,注重并行程序的吞吐量。

相关推荐
Lynnxiaowen几秒前
今天继续昨天的正则表达式进行学习
linux·运维·学习·正则表达式·云计算·bash
东方佑3 分钟前
打破常规:“无注意力”神经网络为何依然有效?
人工智能·深度学习·神经网络
Mendix10 分钟前
使用 Altair RapidMiner 将机器学习引入您的 Mendix 应用程序
人工智能·机器学习
努力学习的小廉11 分钟前
深入了解linux系统—— POSIX信号量
linux·运维·服务器
刘一说16 分钟前
CentOS部署ELK Stack完整指南
linux·elk·centos
从零开始的ops生活22 分钟前
【Day 50 】Linux-nginx反向代理与负载均衡
linux·nginx
Francek Chen27 分钟前
【深度学习计算机视觉】03:目标检测和边界框
人工智能·pytorch·深度学习·目标检测·计算机视觉·边界框
九章云极AladdinEdu31 分钟前
AI集群全链路监控:从GPU微架构指标到业务Metric关联
人工智能·pytorch·深度学习·架构·开源·gpu算力
IT成长日记32 分钟前
【Linux基础】Linux系统配置IP详解:从入门到精通
linux·运维·tcp/ip·ip地址配置
夜无霄37 分钟前
安卓逆向(一)Ubuntu环境配置
linux·运维·爬虫·ubuntu