技术栈
ascend
Nicolas893
1 个月前
华为
·
信创
·
模型部署
·
昇腾
·
ascend
·
vllm
·
模型推理
【大模型实战篇】华为信创环境采用vllm部署QwQ-32B模型
本文分享在华为昇腾机器上部署QwQ-32B模型的实践。首先华为自己是提供了一套在信创机器（NPU）上部署模型的方案【1】，但是部署之后，测试发现会有输出截断的现象。QwQ-32B本身是支持128k的最大上下文长度，定位可能是max-model-len的设置没有生效，但是华为的启动参数中只有maxSeqLen以及maxInputTokenLen参数，修改后也不奏效。
哦豁灬
3 个月前
人工智能
·
pytorch
·
学习
·
ascend
基于香橙派 KunpengPro学习CANN(2)——Ascend Extension for PyTorch 配置与安装
将 PyTorch 网络迁移到昇腾平台并执行训练或推理，直接使用昇腾提供的构图接口构图。Ascend Extension for PyTorch插件用于适配PyTorch框架，可以使用昇腾AI处理器的算力。
就是一顿骚操作
1 年前
人工智能
·
python
·
语言模型
·
自然语言处理
·
ascend
glm2大语言模型服务环境搭建
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：
就是一顿骚操作
1 年前
人工智能
·
pytorch
·
ascend
基于Pytorch+昇腾NPU部署baichuan2-7B大模型
项目地址：https://github.com/baichuan-inc/baichuan-7B预训练模型：https://huggingface.co/baichuan-inc/baichuan-7B
工具人呵呵
1 年前
人工智能
·
opencv
·
ascend
[嵌入式AI从0开始到入土]14_orangepi_aipro小修补含yolov7多线程案例
注：等我摸完鱼再把链接补上 可以关注我的B站号工具人呵呵的个人空间，后期会考虑出视频教程，务必催更，以防我变身鸽王。
Zain Lau
2 年前
c++
·
ubuntu
·
docker
·
ascend
·
atlas
Ubuntu部署docker及docker常用操作
Ubuntu上安装Docker步骤：注意，要在不使用sudo的情况下运行docker命令，您可以将当前用户添加到docker组中，然后注销并重新登录：
fdd096030079
2 年前
人工智能
·
pytorch
·
python
·
昇腾
·
npu
·
ascend
Ascend-pytorch插件介绍及模型迁移
用于昇腾适配PyTorch框架，为使用PyTorch框架的开发者提供昇腾AI处理器的超强算力。当前(2023.9.20)AscendPyTorch支持的pytorch版本如下：