华为昇腾NPU实战:LLM ChatGLM2模型推理体验

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b

1、安装环境:

昇腾NPU卡对应英伟达GPU卡,CANN对应CUDA底层; mindspore对应pytorch;mindformers对应transformers

本次环境:

CANN-6.3.RC2.b20231016

mindspore 2.0.0

mindformers (离线安装:https://gitee.com/mindspore/mindformers)

查看npu使用信息:

npu-smi info

2、ChatGLM2模型使用

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md

问题参考:

https://gitee.com/mindspore/mindformers/issues/

相关推荐
雨白几秒前
重识 Java IO、NIO 与 OkIO
android·java
light_in_hand2 分钟前
内存区域划分——垃圾回收
java·jvm·算法
金銀銅鐵3 分钟前
[Java] JDK 9 新变化之 Convenience Factory Methods for Collections
java·后端
用户74066961362544 分钟前
入门并理解Java模块化系统(JPMS)
java
金銀銅鐵1 小时前
[Java] 用 Swing 生成一个最大公约数计算器
java·后端
小安同学iter1 小时前
SQL50+Hot100系列(11.7)
java·算法·leetcode·hot100·sql50
yivifu1 小时前
JavaScript Selection API详解
java·前端·javascript
zizisuo1 小时前
16000+字!Java集合笔记
java·开发语言
BeingACoder1 小时前
【SAA】SpringAI Alibaba学习笔记(二):提示词Prompt
java·人工智能·spring boot·笔记·prompt·saa·springai
熊猫钓鱼>_>1 小时前
Java面向对象核心面试技术考点深度解析
java·开发语言·面试·面向对象··class·oop