技术栈
昇腾950
zjun3021
13 天前
cann
·
融合算子
·
昇腾950
【昇腾950 cv融合算子体验】L0C Buffer到UB的单向数据通路
昇腾950在架构上做了更新，参考文档如下：220x到351x架构变更 如上图红色线段所示，新增通过LOC->Unifiled Buffer的数据通道 按照之前A2/A3上的数据搬运通路，cv融合算子需要通过GM作为中转站，典型通路如：L0C → FixPipe → GM → DataCopy → UB。既然950提供了相关硬件支持，那么就可以测试下，新的通路是否有性能（少一层GM数据中转）提升。
zjun3021
21 天前
vllm
·
vllm-ascend
·
torch_npu
·
昇腾950
【昇腾950】如何在昇腾950pr的容器环境上部署vllm
当前小主环境是容器，内部只安装了cann的环境，目的是需要在昇腾950pr的机器上跑起vllm。 cann的版本安装的是9.0.0的版本，
我是有底线的