ascend

在昇腾8卡上极限部署 Qwen3-235B MoE🌈你好呀！我是是Yu欸🚀 感谢你的陪伴与支持~ 欢迎添加文末好友🌌 在所有感兴趣的领域扩展知识，不定期掉落福利资讯(*^▽^*)

在昇腾 NPU上压测 Qwen1.5-MoE：AtomGit 云端部署全记录Qwen1.5-MoE-A2.7B 是一个架构非常有趣的“怪兽”：它拥有 14.3B 的庞大身躯（显存占用大），但在干活时只动用 2.7B 的脑细胞（计算速度快）。

从Ascend C算子开发视角看CANN的“软硬协同”版权声明：本文为原创，遵循 CC 4.0 BY-SA 协议。转载请注明出处。在AI算力飙升的今天，我们手里的NPU（神经网络处理器）越来越像一座精密的巨型工厂。以往，我们习惯用“黑盒”的方式去使用它——喂入数据，等待结果。但在大模型训练和极致推理优化的深水区，这种模式行不通了。

14.7MB轻量模型！NVIDIA Jetson边缘设备解锁工厂设备故障预警新方案工厂生产线的非计划停机堪称“效率杀手”——仅轴承磨损、电机故障等常见问题，就可能导致数万甚至数十万元的产能损失。尤其在高节奏的制造业场景中，提前预判设备故障、主动排查隐患，成为降本增效的核心需求。今天，我们带来一款部署于NVIDIA Jetson Orin Nano边缘设备的工厂设备故障预警系统，通过“轻量化AI+多模态感知”技术，实现设备故障提前数小时预警，为工厂生产筑牢“安全防线”。

Ascend上如何进行通信带宽测试https://www.hiascend.com/developer/download/community/result?module=dl%2Bcann

在ARM+Ascend NPU上适配Step-Audio模型Step-Audio 是业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统，支持多语言对话（如中文，英文，日语），语音情感（如开心，悲伤），方言（如粤语，四川话），可控制语速及韵律风格，支持RAP和哼唱等。其核心技术突破体现在以下四大技术亮点： • 1300亿多模态模型: 单模型能实现理解生成一体化完成语音识别、语义理解、对话、语音克隆、语音生成等功能，开源千亿参数多模态模型 Step-Audio-Chat。 • 高效数据生成链路: 基于130B 突破传统 TTS 对人工采集数据的依赖，

工具人呵呵

[嵌入式AI从0开始到入土]18_Ascend C算子开发环境（S5赛季）注：等我摸完鱼再把链接补上可以关注我的B站号工具人呵呵的个人空间，后期会考虑出视频教程，务必催更，以防我变身鸽王。

【大模型实战篇】华为信创环境采用vllm部署QwQ-32B模型本文分享在华为昇腾机器上部署QwQ-32B模型的实践。首先华为自己是提供了一套在信创机器（NPU）上部署模型的方案【1】，但是部署之后，测试发现会有输出截断的现象。QwQ-32B本身是支持128k的最大上下文长度，定位可能是max-model-len的设置没有生效，但是华为的启动参数中只有maxSeqLen以及maxInputTokenLen参数，修改后也不奏效。

基于香橙派 KunpengPro学习CANN(2)——Ascend Extension for PyTorch 配置与安装将 PyTorch 网络迁移到昇腾平台并执行训练或推理，直接使用昇腾提供的构图接口构图。Ascend Extension for PyTorch插件用于适配PyTorch框架，可以使用昇腾AI处理器的算力。

就是一顿骚操作

glm2大语言模型服务环境搭建ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

就是一顿骚操作

基于Pytorch+昇腾NPU部署baichuan2-7B大模型项目地址：https://github.com/baichuan-inc/baichuan-7B预训练模型：https://huggingface.co/baichuan-inc/baichuan-7B

工具人呵呵

[嵌入式AI从0开始到入土]14_orangepi_aipro小修补含yolov7多线程案例注：等我摸完鱼再把链接补上可以关注我的B站号工具人呵呵的个人空间，后期会考虑出视频教程，务必催更，以防我变身鸽王。

Ubuntu部署docker及docker常用操作Ubuntu上安装Docker步骤：注意，要在不使用sudo的情况下运行docker命令，您可以将当前用户添加到docker组中，然后注销并重新登录：

Ascend-pytorch插件介绍及模型迁移用于昇腾适配PyTorch框架，为使用PyTorch框架的开发者提供昇腾AI处理器的超强算力。当前(2023.9.20)AscendPyTorch支持的pytorch版本如下：

我是有底线的