llama-gguf-split.exe下载
https://github.com/ggerganov/llama.cpp/releases
下载vulkan win64版本，解压后，把目录添加到环境变量
进入大模型文件目录，运行命令行：
llama-gguf-split.exe --merge qwen2.5-coder-7b-instruct-q4_k_m-00001-of-00002.gguf qwen2.5-coder-7b-instruct-q4_k_m.gguf
相关推荐
头茬韭菜17 小时前
Kronos 模型推理性能基准测试报告亮亮在江湖20 小时前
# 手写原生Transformers SFT脚本 vs LLaMA Factory 训练 核心完整对比染指11101 天前
61.RAG-RAG存在的问题CClaris5 天前
大模型量化从0到1（九）：用 llama.cpp 把模型转成 GGUF 并跑本地推理染指11106 天前
56.llama_index-查询引擎_codemonster6 天前
从零手搓大模型（七）GPT 转 Llama：从教学版 GPT 走向现代 LLM 架构SLD_Allen7 天前
Purple Llama：Meta开源的LLM安全“紫队”工具箱俊俊谢7 天前
从零搭建：本地LangChain Agent调用远程LLaMA-Factory模型服务liming4957 天前
Ubuntu + Docker + NVIDIA 显卡 上部署 Ollamaheroboyluck8 天前
AI工程师第四课 - 深度学习入门