昇腾AI入门

文章目录

昇腾入门

昇腾社区和开源代码仓

昇腾社区首页
Ascend开源仓
CANN开源仓

昇腾硬件产品有哪些

查看昇腾硬件产品说明:点击昇腾社区首页,查看"产品"-》"Atlas系列硬件"可以看到所有产品。
昇腾硬件产品列表
昇腾计算产品3D展示

昇腾软件全栈架构图

查看昇腾软件全栈:点击昇腾社区首页,查看"产品",可以看到所有软件版本文档,如下图:

昇腾推理解决方案

小模型推理: 【PyTorch生态】主要有ACL离线推理torchair在线推理

大模型推理: 【PyTorch生态】主要有MindIEvLLMSGLangxLLM

【MindSpore生态】:查看MindSpore产品全景

怎么找推理适配的模型

已适配的小模型列表: 链接
已适配大模型列表: MindIE文本生成模型MindIE视图生成模型魔乐社区-MindIEvllm支持SGLang支持xLLM支持

昇腾训练解决方案

小模型训练: PTA
大模型训练: MindSpeed

怎么找训练适配的模型

已适配的小模型列表: gitcode社区魔乐社区
已适配大模型列表: MindSpeed-LLMMindSpeed-MMMindSpeed-RL

一文看懂英伟达的产品体系和命名规则

https://mp.weixin.qq.com/s/R0rQqWw2bjGm6B44pNKWwQ

A800是专为中国市场设计的合规版A100(规避美国出口限制)

单个AI处理器算力计算逻辑

算力介绍:

  • 首先了解评估算力的指标:xxOPS, 即每秒可执行多少次运算。
    举个例子: 如280 TFLOPS FP16算力,指的是每秒280 *(10^12)次半精度浮点运算;560 TOPS INT8算力,指的是每秒560 *(10^12)次整型运算。

    1MFLOPS: 等于每秒一百万(=10^6)次浮点运算;

    1GFLOPS: 等于每秒十亿(=10^9)次浮点运算;

    1TFLOPS: 等于每秒一万亿(=10^12)次浮点运算;

    1PFLOPS: 等于每秒一千万亿(=10^15)次浮点运算;

    1EFLOPS: 等于每秒一百京(=10^18)次浮点运算;

  • 时钟周期(主频)

    处理器执行动作的最小时间单位,也就是我们经常看到主频,例如AI CORE时钟频率为1 GHz(1,000,000,000 次/秒),那么每个时钟周期的持续时间就是1纳秒(1/1,000,000,000 秒)。

昇腾AICore一拍(即一个时钟周期或一个指令)能完成多少次计算:

复制代码
以fp16运算为例,cube一拍可以完成一个基本操作:X=A * B + C, =16 * 16 * 16 * 2=8192次运算;vector一拍可以完成一个基本操作:C=A * B,=16 * 16=256次运算

单个AI处理器浮点算力=AIC核数×处理器主频×每拍可进行的最高浮点运算次数 + AIV核数×处理器主频×每拍可进行的最高浮点运算次数

以910系列为例:

text 复制代码
fp16理论值计算方式:
cube:16 * 16 * 1 6 *  2 * 频率 * AIcore数量
vector:16 * 16 * 频率 * vector核数量
算力值:cube算力值+vector算力值

fp32理论值计算方式:
cube: 8 * 16 * 8 * 2 * 频率 * AIcore数量
vector:8 * 16 * 频率 * vector核数量
算力值:cube算力值+vector算力值

计算某910系列的FP16算力:
单个AI处理器浮点算力=AIC核数×处理器主频×每拍可进行的最高浮点运算次数 + AIV核数×处理器主频×每拍可进行的最高浮点运算次数。

假设AIC核数为10,主频为3000MHz, AIV核数为20,则:
cube算力=10 * 3000MHz * 8192 = 245.76TOPS
vector算力=20 * 3000MHz * 256 = 15.36TOPS
总的算力=cube算力+vector算力=261.12TOPS
相关推荐
能源科技集5 小时前
不止于“大”:远景动力(AESC)790Ah电芯以系统级思维重塑储能技术路线
人工智能
骥龙5 小时前
模块五:n8n自动化工作流 + Ollama + Health-MCP
人工智能·ai编程
jonyleek5 小时前
工业物联网边缘计算架构设计:从数据采集到本地决策
人工智能·物联网·边缘计算·工业物联网·边缘网关·jvs物联网平台·iot架构
桐盛科技5 小时前
拒绝“漂绿”风险:基于边缘计算的碳排放数据清洗算法与实时校验逻辑
人工智能·算法·边缘计算
Mr数据杨5 小时前
汽车故障时间与类别预测实战 从 Kaggle 结构化赛题理解预测性维护建模
人工智能·数据分析·kaggle竞赛
147API5 小时前
蒸馏项目什么时候该停,怎样切换到RAG、微调或模型路由
人工智能·深度学习·机器学习·数据挖掘
ltqvibe5 小时前
AI问数、找IT取数、自己导Excel,三条路怎么选
人工智能·excel·数据报表·智能问数·ai问数·本体语义·取数
小饕5 小时前
llama‑cpp边缘部署内存溢出(OOM)问题排查报告
人工智能·大模型端侧部署
paopaokaka_luck5 小时前
基于springboot3+vue3的精准扶贫管理系统(AI 问答、ECharts 图形化分析)
前端·人工智能·echarts
Wang's Blog5 小时前
Vibe Coding一人即团队系列51: AI赋能项目交付与产品文档自动化生成实践
人工智能·自动化·devops