在windows 台式机电脑部署GLM4大模型

参考这篇文章在windows笔记本电脑部署GLM4大模型_16g显卡本地部署glm4-CSDN博客

我的环境(PC台式机电脑:
处理器 Intel(R) Core(TM) i9-14900K 3.20 GHz
机带 RAM 32.0 GB (31.8 GB 可用)
、32G内存、NVIDIA RTX4080(16G)、 Windows 10 专业版****)****

基本完成处理相关软件的安装,

目前能启动trans_cli_demo.py,

中途出现torch安装错误,导致启动执行效率非常低.

后续再重新卸载torch:pip uninstall torch

pip

复制代码
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

可以正常 启动,但是报需要下载:

https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_windows_amd64.exe

conda安装

复制代码
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

ImportError: cannot import name 'CommitOperationAdd' from 'huggingface_hub'

报错:ImportError: cannot import name 'get_full_repo_name' from 'huggingface_hub'

使用python3.12重新安装后:

运行效果:

相关推荐
有过~14 小时前
XviD4PSP视频无损转换器
经验分享·电脑
Code L14 小时前
解决非小米电脑使用小米电脑管家,妙享桌面连接失败的问题
电脑
lrlianmengba15 小时前
推荐一款专业电脑护眼工具:CareUEyes Pro
电脑
hgdlip16 小时前
电脑的ip地址怎么换掉:全面指南
tcp/ip·智能路由器·电脑
hfxns_1 天前
电脑杀毒软件删除文件怎么恢复?2个方法分享
电脑
Qingniu011 天前
【青牛科技】 GC1288:散热风扇领域中 LA6588 / 三洋的理想替代者
人工智能·分布式·科技·单片机·嵌入式硬件·电脑·散热风扇
南东山人2 天前
一次成功尝试:旧电脑通过网线,连接带无线网卡电脑上外网
网络·电脑
佑华硬盘拷贝机2 天前
PW系列工控电脑复制机:效率与精度双重提升
运维·服务器·网络·数据库·电脑
科技智驱2 天前
电脑超频是什么意思?超频的好处和坏处
电脑