llama-gguf-split.exe下载
https://github.com/ggerganov/llama.cpp/releases
下载vulkan win64版本，解压后，把目录添加到环境变量
进入大模型文件目录，运行命令行：
llama-gguf-split.exe --merge qwen2.5-coder-7b-instruct-q4_k_m-00001-of-00002.gguf qwen2.5-coder-7b-instruct-q4_k_m.gguf
相关推荐
木枷5 小时前
LLama-factory数据报错快乐的钢镚子1 天前
【RAG实战】中医医疗问答系统Yeliang Wu2 天前
LLaMA-Factory 模型评估理论与实战：基于 Ubuntu 22.04 的系统化指南盼小辉丶2 天前
Transformer实战（29）——大语言模型（Large Language Model，LLM）阿猿收手吧！5 天前
【大模型】什么是大模型？vLLM是？模型部署？CUDA？AI大模型5 天前
开源大模型全维度详解+实操部署（Mistral-、Gemma（Google）、Llama、Qwen），小白必看不会吉他的肌肉男不是好的挨踢男5 天前
LLaMA Factory 训练模型未检测到CUDA环境解决TGITCIC5 天前
LLM推理引擎选型实战指南：用Transformers、llama.cpp 还是 vLLM 之争被制作时长两年半的个人练习生6 天前
如何调试llama.cpp及判断是否支持RVV小镇cxy7 天前
小模型微调过程记录