华为昇腾NPU实战:LLM ChatGLM2模型推理体验

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b

1、安装环境:

昇腾NPU卡对应英伟达GPU卡,CANN对应CUDA底层; mindspore对应pytorch;mindformers对应transformers

本次环境:

CANN-6.3.RC2.b20231016

mindspore 2.0.0

mindformers (离线安装:https://gitee.com/mindspore/mindformers)

查看npu使用信息:

npu-smi info

2、ChatGLM2模型使用

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md

问题参考:

https://gitee.com/mindspore/mindformers/issues/

相关推荐
汤姆大聪明7 分钟前
Nacos服务发现和配置管理
java·spring boot·spring cloud·服务发现
莫魂魂10 分钟前
014_多线程
java·开发语言
du fei1 小时前
C# 组件的使用方法
java·开发语言·c#
追风落叶乔木生1 小时前
Light RPC:一款轻量高效的Java RPC框架实践指南
java·spring boot·rpc
风象南1 小时前
SpringBoot项目如何用ServiceLocatorFactoryBean优雅切换支付渠道?
java·spring boot·后端
CopyLower1 小时前
深入剖析 Kafka 的零拷贝原理:从操作系统到 Java 实践
java·kafka·linq
烁3471 小时前
每日一题(小白)暴力娱乐篇29
java·数据结构·算法·娱乐
缺一句感谢和缺一句道歉1 小时前
阿里云kafka集成boot在docker启动找不到kafka.client.truststore.jks文件问题
java·spring boot·kafka
就是蠢啊1 小时前
Maven 基础知识
java·maven
珹洺2 小时前
Java-servlet(完结篇)过滤器乱码解决与监听器
java·运维·服务器·hive·servlet·jsp