技术栈
npu
GPUStack
19 天前
ai
·
大模型
·
gpu
·
npu
·
genai
在昇腾Ascend 910B上运行Qwen2.5推理
目前在国产 AI 芯片，例如昇腾 NPU 上运行大模型是一项广泛且迫切的需求，然而当前的生态还远未成熟。从底层芯片的算力性能、计算架构的算子优化，到上层推理框架对各种模型的支持及推理加速，仍有很多需要完善的地方。
你的陈某某
21 天前
docker
·
npu
·
atlas800
·
a300i pro
·
ais_bench
Atlas800昇腾服务器（型号：3000）—Docker容器部署【图像分类】（十）
CPU/NPU：鲲鹏 CPU（ARM64）+A300I pro推理卡 系统：Kylin V10 SP1【下载链接】【安装链接】 驱动与固件版本版本： Ascend-hdk-310p-npu-driver_23.0.1_linux-aarch64.run【下载链接】 Ascend-hdk-310p-npu-firmware_7.1.0.4.220.run【下载链接】 MCU版本：Ascend-hdk-310p-mcu_23.2.3【下载链接】 CANN开发套件：版本7.0.1【Toolkit下载链接】【Ke
你的陈某某
22 天前
图像分类
·
npu
·
cann
·
atlas800
·
a300i pro
Atlas800昇腾服务器（型号：3000）—SwinTransformer等NPU推理【图像分类】（九）
CPU/NPU：鲲鹏 CPU（ARM64）+A300I pro推理卡 系统：Kylin V10 SP1【下载链接】【安装链接】 驱动与固件版本版本： Ascend-hdk-310p-npu-driver_23.0.1_linux-aarch64.run【下载链接】 Ascend-hdk-310p-npu-firmware_7.1.0.4.220.run【下载链接】 MCU版本：Ascend-hdk-310p-mcu_23.2.3【下载链接】 CANN开发套件：版本7.0.1【Toolkit下载链接】【Ke
你的陈某某
1 个月前
yolov8
·
npu
·
bytetrack
·
atlas800
·
a300i pro
·
ais_bench
Atlas800昇腾服务器（型号：3000）—YOLO全系列NPU推理【跟踪】（八）
CPU/NPU：鲲鹏 CPU（ARM64）+A300I pro推理卡 系统：Kylin V10 SP1【下载链接】【安装链接】 驱动与固件版本版本： Ascend-hdk-310p-npu-driver_23.0.1_linux-aarch64.run【下载链接】 Ascend-hdk-310p-npu-firmware_7.1.0.4.220.run【下载链接】 MCU版本：Ascend-hdk-310p-mcu_23.2.3【下载链接】 CANN开发套件：版本7.0.1【Toolkit下载链接】【Ke
你的陈某某
1 个月前
npu
·
cann
·
atlas800
Atlas800昇腾服务器（型号：3000）—CANN安装（二）
CPU/NPU：鲲鹏 CPU（ARM64）+A300I pro推理卡 系统：Kylin V10 SP1【下载链接】【安装链接】 驱动与固件版本版本： Ascend-hdk-310p-npu-driver_23.0.1_linux-aarch64.run【下载链接】 Ascend-hdk-310p-npu-firmware_7.1.0.4.220.run【下载链接】 MCU版本：Ascend-hdk-310p-mcu_23.2.3【下载链接】 CANN开发套件：版本7.0.1【Toolkit下载链接】【Ke
粥粥粥少女的拧发条鸟
2 个月前
security
·
tee
·
npu
【论文分享精炼版】 sNPU: Trusted Execution Environments on Integrated NPUs
今天在COMPASS分享了之前写的一个博客，做了进一步的提炼总结，大家可以看看原文~今天分享的论文《sNPU: Trusted Execution Environments on Integrated NPUs》来自2024年ISCA，共同一作为Erhu Feng以及Dahu Feng。并且， 这两位作者今年在加速器安全研究领域还有一篇来自ASPLOS的论文，即《sIOPMP: Scalable and Efficient I/O Protection for TEEs》。值得一提的是，这两篇论文均借助了
粥粥粥少女的拧发条鸟
3 个月前
tee
·
npu
【论文分享】sNPU: Trusted Execution Environments on Integrated NPUs 24‘ISCA
可信执行环境（TEE）通过针对安全敏感任务的硬件扩展提供强大的安全保证。由于其众多的优点，TEE 得到了广泛的采用，并从仅 CPU 的 TEE 扩展到 FPGA 和 GPU TEE 系统。然而，现有的 TEE 系统对新兴（且重要）的处理单元 NPU 的支持不足且效率低下。例如，商业TEE系统对NPU采用粗粒度和静态保护方法，导致性能显着下降（10%20%）、多任务处理能力有限（或没有）以及资源利用率不佳。在本文中，我们提出了一种安全的 NPU 架构，称为 sNPU，旨在减少 NPU 架构设计固有的漏洞。首
I_belong_to_jesus
3 个月前
算法
·
npu
·
ai芯片
·
dpu
·
nvdla
NVDLA专题10：具体模块介绍——Planar Data Processor
平面数据处理器(Planar Data Processor, PDP)沿宽x高的前两个维度平面执行操作，在NVDLA版中，PDPD旨在实现池化层，module定义在NV_NVDLA_pdp.v。支持最大、最小和平均池化方法。平面内的几个相邻输入元素将被发送到非线性函数来计算一个输出元素。下图显示了最大池的一个示例。3x2相邻元素中的最大值是合并结果值
skywalk8163
5 个月前
人工智能
·
paddlepaddle
·
昇腾
·
npu
·
paddlenlp
openi启智社区 aarch64 npu环境安装飞桨paddlepaddle和PaddleNLP（失败）
以前在启智社区都是编译安装飞桨，这回看到飞桨提供了npu安装包，兴冲冲的以为安装很简单。之所以安装飞桨，是因为想在启智社区的启智大脑调试环境使用最新的PaddleNLP，结果报错：No module named 'paddle.nn.layer.layers'，提issuenpu下import paddlenlp报错：No module named 'paddle.nn.layer.layers' · Issue #64996 · PaddlePaddle/Paddle · GitHub
内卷焦虑人士
7 个月前
人工智能
·
昇腾
·
npu
【NPU】A800-9000服务器8*Ascend 910 B的HCCS测试
HCCS集合通信带宽数据timeline信息在msprof_*.json文件的HCCS层级展示summary信息在hccs_*.csv文件汇总。
夏天是冰红茶
8 个月前
linux
·
rk3588
·
yolov5
·
npu
yolov5训练并生成rknn模型部署在RK3588开发板上，实现NPU加速推理
RK3588是瑞芯微（Rockchip）公司推出的一款高性能、低功耗的集成电路芯片。它采用了先进的28纳米工艺技术，并配备了八核心的ARM Cortex-A76和Cortex-A55处理器，以及ARM Mali-G76 GPU。该芯片支持多种接口和功能，适用于广泛的应用领域。
发狂的小花
10 个月前
c语言
·
c++
·
性能优化
·
dsp
·
npu
性能优化-高通的Hexagon DSP和NPU
原文来自【 Qualcomm’s Hexagon DSP, and now, NPU 】本文主要介绍Qualcomm Hexagon DSP和NPU，这些为处理简单大量运算而设计的硬件。
fdd096030079
1 年前
人工智能
·
pytorch
·
python
·
昇腾
·
npu
·
ascend
Ascend-pytorch插件介绍及模型迁移
用于昇腾适配PyTorch框架，为使用PyTorch框架的开发者提供昇腾AI处理器的超强算力。当前(2023.9.20)AscendPyTorch支持的pytorch版本如下：
fdd096030079
1 年前
pytorch
·
python
·
深度学习
·
昇腾
·
npu
Ascend_PyTorch安装指北
主要分为以下几步：固件版本为：Ascend-hdk-910-npu-firmware_6.3.0.1.241.run 驱动版本为：Ascend-hdk-910-npu-driver_23.0.rc1_linux-aarch64.run