华为昇腾NPU实战:LLM ChatGLM2模型推理体验

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b

1、安装环境:

昇腾NPU卡对应英伟达GPU卡,CANN对应CUDA底层; mindspore对应pytorch;mindformers对应transformers

本次环境:

CANN-6.3.RC2.b20231016

mindspore 2.0.0

mindformers (离线安装:https://gitee.com/mindspore/mindformers)

查看npu使用信息:

npu-smi info

2、ChatGLM2模型使用

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md

问题参考:

https://gitee.com/mindspore/mindformers/issues/

相关推荐
bing_15821 分钟前
如何利用 Spring Data MongoDB 进行地理位置相关的查询?
java·mongodb·spring
有你的冬天19826 分钟前
运用集合知识做斗地主案例
java
琢磨先生David31 分钟前
Java 可扩展状态系统设计:备忘录模式的工程化实践与架构演进
java·设计模式·架构
扶风呀32 分钟前
Spring Boot项目中实现单点登录(SSO)完整指南
java·spring boot·后端
灵典33636 分钟前
C++与Java类和对象的异同
java·开发语言·c++
August_._43 分钟前
【网络通信】详解网络通信、实现 CS / BS架构 通信
java·websocket·网络协议·tcp/ip·计算机网络·架构·intellij-idea
白总Server1 小时前
AxumStatusCode细化Rust Web标准格式响应
java·linux·运维·服务器·开发语言·http·rust
Auc241 小时前
物流项目第九期(MongoDB的应用之作业范围)
java·数据库·mongodb
ss2732 小时前
基于Springboot + vue3实现的图书管理系统
java·spring boot·后端
.生产的驴2 小时前
SpringBoot 执行Lua脚本 服务端执行 减少性能损耗 优化性能 优化连接性能
java·数据库·spring boot·后端·junit·maven·lua