华为 CANN

华为 CANN

• [1 介绍](#1 介绍)
• • [1.1 概述](#1.1 概述)
  • [1.2 CANN 是华为昇腾计算产业的重要一环](#1.2 CANN 是华为昇腾计算产业的重要一环)
  • [1.3 昇腾系列处理器](#1.3 昇腾系列处理器)
  • [1.4 昇腾 AI 产业](#1.4 昇腾 AI 产业)
  • [1.5 从 AI 算法到产品化落地流程](#1.5 从 AI 算法到产品化落地流程)
  • [1.6 多样性计算架构](#1.6 多样性计算架构)
  • [1.7 人工智能各层级图示](#1.7 人工智能各层级图示)
  • [1.8 人工智能技术发展历史](#1.8 人工智能技术发展历史)
• [2 CANN vs CUDA](#2 CANN vs CUDA)
• • 支持平台
  • 优化方向
  • 编程接口
  • 生态系统与应用
  • 性能与功能
• [3 CANN逻辑架构](#3 CANN逻辑架构)
• • [昇腾计算语言（Ascend Computing Language，简称AscendCL）](#昇腾计算语言（Ascend Computing Language，简称AscendCL）)
  • [昇腾计算服务层（Ascend Computing Service Layer）](#昇腾计算服务层（Ascend Computing Service Layer）)
  • [昇腾计算编译层（Ascend Computing Compilation Layer）](#昇腾计算编译层（Ascend Computing Compilation Layer）)
  • [昇腾计算执行层（Ascend Computing Execution Layer）](#昇腾计算执行层（Ascend Computing Execution Layer）)
  • [昇腾计算基础层（Ascend Computing Base Layer）](#昇腾计算基础层（Ascend Computing Base Layer）)
• [4 支持的深度学习框架与第三方库](#4 支持的深度学习框架与第三方库)
• [5 全栈开放](#5 全栈开放)
• 重点事件
• • [Nvidia 禁止其他平台运行 CUDA](#Nvidia 禁止其他平台运行 CUDA)
• 参考

1 介绍

1.1 概述

CANN 是华为推出的计算架构。NVIDIA 成功的的关键是创建了 CUDA 计算架构。国内目前有希望追上 CUDA 的，就是华为的 CANN。

财富本身和驾驭财富的能力都很重要！

算力本身和驾驭算力的能力都很重要！

CUDA 和 CANN 就是驾驭 AI 算力的利器！

CANN 是针对 AI 场景推出的异构计算架构，通过提供多层次的编程接口，支持用户快速构建基于昇腾平台的 AI 应用和业务。为了解决大量在开发和部署中遇到的问题及挑战，CANN 是基于以下核心思想而设计。

• 支持端边云全场景协同，支持超过 10 种设备形态、EMUI、Andriod、openEuler、UOS、Ubuntu、Debian、Suse 等超过 14 种操作系统和多种 AI 计算框架。对于上层应用，无需关注关注操作系统的变化和硬件的演进。

• 支持多种计算架构和计算框架，一套体系支持 CPU、NPU 等架构和多种 AI计算框架

• 支持向后兼容和演进，向后兼容是为了保护开发者的已有开发投资。

• 平台还有极强的伸缩性和适应性，适应不同的算力和内存的变化。

CANN 不仅仅是一个简单的软件平台，首先它是一个开发体系，包含了编程语言，编译及调试工具和编程模型，创造了基于异腾系列处理器的一个编程的框架，未来将持续演进

1.2 CANN 是华为昇腾计算产业的重要一环

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，包括昇腾系列处理器、系列硬件、CANN（Compute Architecture for Neural Networks，异构计算架构）、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链。

1.3 昇腾系列处理器

随着深度学习需求日益扩大，基于神经网络的 AI处理器技术创新蓬勃发展。

NPU(NeuralProcessing Unit，神经网络处理器)针对矩阵运算进行专门优化设计，解决了传统芯片在神经网络运算时效率低下的问题。异腾系列处理器是基于华为达芬奇 架构的 NPU，华为达芬奇架构是面向 AI计算设计的架构，通过独创的 161616的 3D Cube 设计，每时钟周期可以进行 4096 个 16 位半精度浮点 MAC 运算，为人工智能提供强大的算力支持。基于统一的达芬奇架构，可以支持端边云不同场景的差异化算力需求，并具备从几十毫瓦 IP 到几百瓦芯片的平滑扩展，覆盖了端边云全场景部署的能力。昇腾处理器是全球首个覆盖全场景 A1芯片,构建了昇腾计算产品、使能上层软件和应用的底座,也是全产业链可持续创新和发展的驱动力。

1.4 昇腾 AI 产业

1.5 从 AI 算法到产品化落地流程

1.6 多样性计算架构

1.7 人工智能各层级图示

1.8 人工智能技术发展历史

2 CANN vs CUDA

华为 CANN（Compute Architecture for Neural Networks）与 NVIDIA 的 CUDA（Compute Unified Device Architecture）在多个方面存在显著的差异。以下是两者之间的对比：

支持平台

• CUDA：由 NVIDIA 推出，主要支持 NVIDIA 的 GPU 系列。CUDA指令集架构（ISA）以及GPU内部的并行计算引擎是CUDA的核心，使GPU能够解决复杂的计算问题。

• CANN：由华为推出，专为昇腾AI处理器设计。它支持多种AI框架，为AI处理器和编程提供了服务，是提升昇腾AI处理器计算效率的关键平台。

优化方向

• CUDA：针对通用计算进行了优化，使得开发人员可以使用C语言（以及C++和FORTRAN）为CUDA架构编写程序，并在支持CUDA的处理器上以超高性能运行。

• CANN：针对神经网络计算场景进行了优化，提供了高效易用的编程接口，帮助用户快速构建基于昇腾平台的AI应用和业务。因此，CANN在AI计算方面比CUDA更高效。

编程接口

• CANN：提供Ascend C作为算子开发语言，支持C和C++标准规范，，对应用程序开发者屏蔽了底层多种芯片差异，提升了用户APP编程的易用性。同时，CANN还提供了标准的异腾计算AIR，支持多框架，方便用户在昇腾芯片上快速部署神经网络业务。

• CUDA：有一套API和编程模型，基于C语言，提供CUDA C/C++作为编程接口，并支持FORTRAN等其他语言。

生态系统与应用

• CUDA：已被广泛应用于各个领域，包括图像与视频处理、计算生物学和化学、流体力学模拟等。拥有庞大的开发者社区和丰富的学习资源，NVIDIA提供广泛的技术支持和优化工具。

• CANN：作为华为昇腾AI生态的关键组成部分，CANN正在推动AI应用和业务在华为平台上的快速发展。华为昇腾社区提供支持，包括ModelZoo、工具包和开发支持，旨在构建全场景人工智能平台。

性能与功能

• CUDA：通过线程组层次结构、共享存储器、屏障同步等核心抽象概念，以及优化的内存管理和并行算法库，提升计算性能。

• CANN：通过自动流水、算子深度融合、自适应梯度切分和智能计算调优等技术，优化AI计算性能。

3 CANN逻辑架构

昇腾计算语言（Ascend Computing Language，简称AscendCL）

AscendCL接口是昇腾计算开放编程框架，是对底层昇腾计算服务接口的封装。它提供设备（Device）管理、上下文（Context）管理、流（Stream）管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理、图（Graph）管理等API库，供用户开发人工智能应用。

昇腾计算服务层（Ascend Computing Service Layer）

主要提供昇腾算子库AOL（Ascend Operator Library），通过神经网络（Neural Network，NN）库、线性代数计算库（Basic Linear Algebra Subprograms，BLAS）等高性能算子加速计算；昇腾调优引擎AOE（Ascend Optimization Engine），通过算子调优OPAT、子图调优SGAT、梯度调优GDAT、模型压缩AMCT提升模型端到端运行速度。同时提供AI框架适配器Framework Adaptor用于兼容TensorFlow、PyTorch等主流AI框架。

昇腾计算编译层（Ascend Computing Compilation Layer）

昇腾计算编译层通过图编译器（Graph Compiler）将用户输入中间表达（Intermediate Representation，IR）的计算图编译成昇腾硬件可执行模型；同时借助张量加速引擎TBE（Tensor Boost Engine）的自动调度机制，高效编译算子。

昇腾计算执行层（Ascend Computing Execution Layer）

负责模型和算子的执行，提供运行时库（Runtime）、图执行器（Graph Executor）、数字视觉预处理（Digital Vision Pre-Processing，DVPP）、人工智能预处理（Artificial Intelligence Pre-Processing，AIPP）、华为集合通信库（Huawei Collective Communication Library，HCCL）等功能单元。

昇腾计算基础层（Ascend Computing Base Layer）

主要为其上各层提供基础服务，如共享虚拟内存（Shared Virtual Memory，SVM）、设备虚拟化（Virtual Machine，VM）、主机-设备通信（Host Device Communication，HDC）等。

4 支持的深度学习框架与第三方库

5 全栈开放

华为昇腾坚持开源开放原则，目的是为了希望构建良好的产业生态，按能力分层开放。面向不同开发者提供不同开发工具和套件，使能开发者满足在极简开发和极致性能两方面的需求。

※ 面向最上层的业务应用开发者，他们把 AI变成服务，引入各行各业。对于这类开发者MindX 开放支持上层的 ModelArts 和 HiAI等应用使能服务，同时也可以支持第三方平台提供应用使能服务;MindX也逐步提供 SDK，SDK是面向同一类行业场景的完整开发工具包和对应的行业知识库，让针对一类行业的开发经验和行业知识可以积淀下来，快速复制。SDK 让开发者、ISV 只需极少量代码甚至不需要代码就可以实现 Al的功能。

※ 面向 AI 模型开发者，他们专注于算法开发，开源框架 MindSpore 可以支持高效开发，同时华为提供模型转换工具支持主流模型便捷的转换到 MindSpore。

※ 面向算子开发者，提供了 CANN 和 MindStudio 来支持底层开发。基于统一编程接口AscendCL(Ascend Computing Language，昇腾统一编程语言)的 CANN，实现分层开放能力。AscendCL封装了内存管理、AI任务管理、AI任务执行、业务流、事件、图引擎等通用接口，开发者只需要掌握一套 API，就可以全面使用昇腾硬件的能力。同时，AscendCl将开放环境与底层硬件相解耦，实现后向兼容，可以最大程度的保护开发者的数字资产。

重点事件

Nvidia 禁止其他平台运行 CUDA

Nvidia在CUDA 11.6的用户许可协议中明确指出，禁止在其他硬件平台上通过转换层运行CUDA

参考

1、昇腾社区--CANN是什么

2、昇腾社区--CANN

3、昇腾计算产业发展白皮书--华为-中国信通院-中国人工智能产业发展联盟

4、华为--昇腾计算产业概述

5、鲲鹏计算产业发展白皮书--2020

6、华为--迈向智能世界白皮书

7、德勤--全球人工智能发展白皮书--2020

8、Nvidia 对 CUDA 的最新限制引起中国 AI 界的关注

9、大力出奇迹，揭秘昇腾CANN的AI超能力

10、关于华为昇腾（Ascend）AI芯片，CANN计算架构，MindSpore深度学习框架，MindStudio开发工具

11、华为：绕过CUDA、平替英伟达，我来为中国AI公司提供芯片