华为昇腾NPU实战:LLM ChatGLM2模型推理体验

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b

1、安装环境:

昇腾NPU卡对应英伟达GPU卡,CANN对应CUDA底层; mindspore对应pytorch;mindformers对应transformers

本次环境:

CANN-6.3.RC2.b20231016

mindspore 2.0.0

mindformers (离线安装:https://gitee.com/mindspore/mindformers)

查看npu使用信息:

npu-smi info

2、ChatGLM2模型使用

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md

问题参考:

https://gitee.com/mindspore/mindformers/issues/

相关推荐
代码小鑫8 分钟前
A032-基于Spring Boot的健康医院门诊在线挂号系统
java·开发语言·spring boot·后端·spring·毕业设计
训山16 分钟前
4000字浅谈Java网络编程
java·开发语言·网络
VertexGeek22 分钟前
Rust学习(四):作用域、所有权和生命周期:
java·学习·rust
喔喔咿哈哈38 分钟前
【手撕 Spring】 -- Bean 的创建以及获取
java·后端·spring·面试·开源·github
码农小丘40 分钟前
了解springboot国际化用途以及使用
java·spring boot·spring
卡皮巴拉吖44 分钟前
【JavaEE初阶】多线程上部
java·jvm·java-ee
tian-ming1 小时前
JavaWeb后端开发知识储备1
java·spring boot·nginx·spring·maven
spy47_1 小时前
JavaEE 重要的API阅读
java·笔记·java-ee·api文档阅读
夏微凉.1 小时前
【JavaEE进阶】Spring AOP 原理
java·spring boot·后端·spring·java-ee·maven
只因在人海中多看了你一眼1 小时前
Java EE 技术基础知识体系梳理
java·java-ee