nvidia&cuda&gpu 关系学习

nvidia的cuda和gpu

  • gpu 最早是做图像渲染,在CUDA出现之前,GPU这个强大的"工人军团"基本上只能干一件事:画图。 科学家们虽然知道GPU的计算能力很强,但想利用它来做非图形计算(比如科学模拟、数据分析)非常困难,需要用图形编程语言(如OpenGL、DirectX)伪装成图形任务来"欺骗"GPU工作,这非常复杂且效率低下。
  • cuda包含
    • 一个编程接口 (API): 允许开发者使用C、C++、Fortran、Python等高级语言编写程序。
    • 一个运行时库 (Runtime Library): 管理GPU资源,协调CPU和GPU之间的数据传输和任务调度。
    • 一个驱动程序 (Driver): 硬件和软件之间的桥梁。
  • GPU相当于一个拥有数千名工人的工厂。cuda相当于指导工人如何工作的操作手册和管理系统。

国产gpu

  • 在NVIDIA平台上运行模型时,实际发生的过程是:AI框架 (PyTorch) -> 调用 CUDA API -> CUDA驱动 -> 在 NVIDIA GPU 上执行计算

  • 如果在国产GPU上跑N卡训练的模型,需要搭建一个全新的运行管道:AI框架 (PyTorch) -> 调用 国产GPU的API -> 国产GPU驱动 -> 在 国产GPU 上执行计算

  • 国产GPU的API -> 国产GPU驱动 都是自研的部分,每一家目前不太一样

相关推荐
优化Henry6 小时前
LTE 站点 S1 链路反复闪断导致小区频闪退服故障排查
运维·网络·学习·信息与通信·tdd
β添砖java10 小时前
Transformer大白话学习笔记
笔记·学习·transformer
kevin_org14 小时前
LangChain入门学习(四)
python·学习·langchain·fastapi
瑞克-桑切斯1 天前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
kaixin_啊啊1 天前
【三种鲑科鱼类比较基因组学分析鉴定出参与细胞内寄生菌鲑立克次体抗性的功能候选基因】论文学习
学习
CappuccinoRose1 天前
Redis 学习文档
redis·后端·学习·缓存·session·非关系型数据库·gossip
qingwufeiyang_5302 天前
Docker学习笔记2
笔记·学习
Z21-X2 天前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
Century_Dragon2 天前
把高压回路“看透” 新能源汽车动力系统拆装与检测实训MR软件
学习
电科_银尘2 天前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习