华为昇腾NPU实战:LLM ChatGLM2模型推理体验

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b

1、安装环境:

昇腾NPU卡对应英伟达GPU卡,CANN对应CUDA底层; mindspore对应pytorch;mindformers对应transformers

本次环境:

CANN-6.3.RC2.b20231016

mindspore 2.0.0

mindformers (离线安装:https://gitee.com/mindspore/mindformers)

查看npu使用信息:

npu-smi info

2、ChatGLM2模型使用

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md

问题参考:

https://gitee.com/mindspore/mindformers/issues/

相关推荐
代码or搬砖2 分钟前
Spring AOP全面详讲
java·spring
Musennn10 分钟前
leetcode51.N皇后:回溯算法与冲突检测的核心逻辑
java·数据结构·算法·leetcode
TT哇10 分钟前
【数据结构试题】
java·数据结构
嗜好ya14 分钟前
JAVA集合篇--深入理解ConcurrentHashMap图解版
java·开发语言
stein_java18 分钟前
springMVC-15 异常处理
java·spring
找不到、了32 分钟前
Java设计模式之适配器模式
java·设计模式·适配器模式
小猫咪怎么会有坏心思呢39 分钟前
华为OD机考-生成哈夫曼树-二叉树(JAVA 2025B卷)
java·开发语言·华为od
翱翔的小菜鸟1 小时前
Java Stream API中peek()方法使用不当引发的生产问题
java·开发语言
xcs194051 小时前
java 导入数据和数据验证处理方案
java·linux·python
哪吒编程1 小时前
我的第一个AI编程助手,IDEA最新插件“飞算JavaAI”,太爽了
java·后端·ai编程