昇腾Ascend C编程语言
Ascend C原生支持C/C++编程规范,通过多层接口抽象、并行编程范式、孪生调试等技术,极大提高了算子的开发效率,帮助AI
参考文章
手把手教你在昇腾平台上搭建PyTorch训练环境 - 哔哩哔哩 (bilibili.com)https://www.bilibili.com/read/cv23917714/
华为昇腾具有完整的生态
Ascend 910 性能相当于Nvidia A100
昇腾的核心问题:
1,昇腾只能用于华为自身生态中的大模型业务,比如昇腾不能做GPT-3,因为910不支持32位浮点 ,而目前大模型训练几乎都要使用32位的浮点,所以昇腾芯片只能利用华为开发的框架(如MindSpore),再加上优化好的大模型,比如盘古CV。
2,生态依然需要完善。英伟达最强大的护城河在于它的生态系统CUDA。目前CANN还有差距。
3,先进制程的卡脖子问题得到了一定解决,但依然需要担忧产能问题。
CANN
CANN(Compute Architecture for Neural Networks)是华为针对AI场景推出的异构计算架构,对上支持多种AI框架,对下服务AI处理器与编程,发挥承上启下的关键作用,是提升昇腾AI处理器计算效率的关键平台。
昇腾学习资料
昇腾与NVIDIA的类比
- CANN +firmware/driver-- CUDA toolkit+CUDA drvier:
- Mindspore -- pytorch/tensorflow
MindSpore框架
MindSpore是华为推出的开源AI计算框架。支持深度学习算法的开发、训练和推理。MindSpore框架旨在提供一种简单易用的方式来构建和部署AI模型,同时充分发挥昇腾AI加速器的性能优势。
pytorch适配到昇腾-pytorch adapter
利用pytorch的dispatch机制(算子注册与分发)
Mindx DL-昇腾深度学习组件
产品简介-产品描述-5.0.0-MindX DL-文档首页-昇腾社区 (hiascend.com)
了解MindX DL的产品定位与特点,有助于您快 速构建自己的深度学习平台 。
随着人工智能产业的快速发展,业界越来越多的企业发布了深度学习平台,提供数据集管理、模型训练、模型管理、模型部署推理等功能满足模型开发训练推理的全流程业务,能够加速企业和开发者交付人工智能业务所需的模型。
MindX DL(昇腾深度学习组件)是支持基于昇腾AI处理器(下文出现的NPU表示昇腾AI处理器)的数据中心训练和推理硬件的深度学习组件参考设计,提供昇腾AI处理器调度、集群性能测试等基础功能,为上层模型训练、模型评估、模型部署、模型推理等应用提供底层软件支持。深度学习平台开发厂商可以减少底层资源调度相关软件开发工作量,快速使能合作伙伴基于MindX DL开发深度学习平台 。
华为资源
昇腾镜像仓库
昇腾开放Docker镜像仓库,提供昇腾软件Docker镜像,支持用户快速部署昇腾基础软件和应用软件
ascend-tensorflow镜像(包含 TFPULGIN插件 )
Ascend-tensorflow基础镜像,基于centos7,debian9.9,ubuntu18.04制作,内部集成训练通用的第三方库(系统包、pip)、Tensorflow框架,TOOLKIT引擎和TFPULGIN插件 。用户根据实际需要,基于该基础镜像安装训练业务程序特定依赖,即可运行相应训练业务程序。
在昇腾处理其上如何运行基于tensorflow,pytorch AI框架的训练业务应用程序
需要安装TFPlugin,PTPlugin
什么是深度学习平台
深度学习平台,提供数据集管理、模型训练、模型管理、模型部署推理 等功能满足模型开发训练推理的全流程业务 ,能够加速企业和开发者交付人工智能业务所需的模型。
开发者低成本完成算子开发和模型调优部署。