llama gguf大模型文件合并

llama-gguf-split.exe下载

https://github.com/ggerganov/llama.cpp/releases

下载vulkan win64版本,解压后,把目录添加到环境变量

进入大模型文件目录,运行命令行:

llama-gguf-split.exe --merge qwen2.5-coder-7b-instruct-q4_k_m-00001-of-00002.gguf qwen2.5-coder-7b-instruct-q4_k_m.gguf

相关推荐
阡陌数智21 小时前
Llama 4 MoE 架构深度拆解:交替稀疏专家设计与生产环境推理落地实战
架构·llama
论文复现现场1 天前
8卡4090能跑70B吗?Llama-2显存预算、QLoRA与通信瓶颈
人工智能·深度学习·分布式训练·llama·显存·qlora·算家云
Vd7H20A72 天前
Windows 下用 llama.cpp 运行 Qwen3.8-27B 并开启 512K 上下文 完全指南
windows·llama
jason.zeng@15022072 天前
(六)Prompt 优化
python·ai·langchain·prompt·ai编程·llama
jason.zeng@15022072 天前
(八)现有架构上新增一个通用Excel导出工具
python·架构·langchain·excel·llama
jason.zeng@15022072 天前
(九)多轮对话式新增维修记录实现方案
python·prompt·交互·llama
jason.zeng@15022072 天前
(五)多轮对话上下文,实现交互。
python·交互·llama
jason.zeng@15022072 天前
(十)分层架构的多文件工程
python·架构·prompt·交互·ai编程·llama
n112125 天前
4G 显存老显卡怎么跑模型:llama.cpp 加 GGUF 配置
llama·llama.cpp·本地大模型·gguf
打工仔折腾 AI6 天前
LLaMA 1 到 LLaMA 3 架构演进拆解:从 RoPE、GQA 到词表扩张
人工智能·后端·python·深度学习·langchain·llama