技术栈
24g显存
Alex_StarSky
1 年前
llm
·
私有化部署
·
qwen
·
本地部署
·
qwen14b
·
24g显存
·
cuda12
GPT实战系列-实战Qwen在Cuda 12+24G部署方案
ChatGLM4进行新闻发布，但还没有开源更新，在此之际，实战部署测试Qwen大模型。目前Qwen的口碑貌似还不错，测试显卡内存24G，毕竟有限，排除了Qwen14非量化方案Qwen-14B-Chat，只有 Qwen-7B-Chat，Qwen-7B-Chat-Int4，Qwen-14B-Chat-Int4 模型可用。测试过程中Qwen-7B-Chat出现显存bug，只能都用Int4方案。