llama gguf大模型文件合并

llama-gguf-split.exe下载

https://github.com/ggerganov/llama.cpp/releases

下载vulkan win64版本,解压后,把目录添加到环境变量

进入大模型文件目录,运行命令行:

llama-gguf-split.exe --merge qwen2.5-coder-7b-instruct-q4_k_m-00001-of-00002.gguf qwen2.5-coder-7b-instruct-q4_k_m.gguf

相关推荐
小饕2 天前
llama.cpp 参数调优指南:Jetson 8GB 实战手记
人工智能·llama·大模型端侧部署
chinesegf2 天前
现代互联网服务的经典架构
服务器·架构·llama
μθημα4 天前
Ollama 本地大模型部署实战:虚拟机环境下的完整操作指南
llama·maxkb
论文复现现场4 天前
RTX 4090 24GB 能跑 Qwen3.8-27B 吗?单卡显存计算与云端部署指南
人工智能·python·云计算·llama·gpu算力
zhangphil4 天前
AI大模型生成maxTokens 与上下文context
android·llama
淼澄研学7 天前
英伟达参投Hugging Face,本地部署Llama 3实操指南
llama
qyyyyy57012 天前
PDF 转 JSON 怎么做?从表格和元数据提取到 LLM 结构化处理
数据库·pdf·json·erlang·llama
薛定e的猫咪12 天前
【大模型量化】使用 llama.cpp 完成量化、本地推理与服务化部署
人工智能·深度学习·算法·llama
CODER030412 天前
win11系统编译安装cuda版llama-cpp-python(踩完所有的坑)
开发语言·python·llama
今天吃饺子13 天前
超高创新模型!TF-SAX-Llama 轴承故障诊断
大语言模型·llama·故障诊断