华为昇腾NPU实战:LLM ChatGLM2模型推理体验

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b

1、安装环境:

昇腾NPU卡对应英伟达GPU卡,CANN对应CUDA底层; mindspore对应pytorch;mindformers对应transformers

本次环境:

CANN-6.3.RC2.b20231016

mindspore 2.0.0

mindformers (离线安装:https://gitee.com/mindspore/mindformers)

查看npu使用信息:

npu-smi info

2、ChatGLM2模型使用

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md

问题参考:

https://gitee.com/mindspore/mindformers/issues/

相关推荐
海狸老先生3 小时前
Apache Tomcat样例目录session操纵漏洞解读
java·网络安全·tomcat
Jinkxs5 小时前
基础14-Java集合框架:掌握List、Set和Map的使用
java·list
遗憾皆是温柔6 小时前
3.JVM,JRE和JDK的关系是什么
java·开发语言·jvm·面试
洛可可白6 小时前
Spring Boot 应用结合 Knife4j 进行 API 分组授权管理配置
java·spring boot·后端
22:30Plane-Moon8 小时前
初识SpringBoot
java·spring boot·后端
黄昏晓x8 小时前
数据结构----排序
java·数据结构·排序算法
97zz8 小时前
项目配置文件正确但是启动失败,报配置文件内容错误或中间件地址与实际不符
java·中间件·springboot
小醉你真好10 小时前
Spring Boot + ShardingSphere 分库分表实战
java·spring boot·后端·mysql
Vdeilae10 小时前
IIS 让asp.net core 项目一直运行
java·服务器·asp.net
YY_TJJ10 小时前
8.4 Java Web(Maven P50-P57)
java·开发语言·maven