window11 部署llama.cpp并运行Qwen2-0.5B-Instruct-GGUF

吾名爱妃,性好静亦好动。好编程,常沉浸于代码之世界,思维纵横,力求逻辑之严密,算法之精妙。亦爱篮球,驰骋球场,尽享挥洒汗水之乐。且喜跑步,尤钟马拉松,长途奔袭,考验耐力与毅力,每有所进,心甚喜之。

吾以为,编程似布阵,算法如谋略,需精心筹谋,方可成就佳作。篮球乃团队之艺,协作共进,方显力量。跑步与马拉松,乃磨炼身心之途,愈挫愈勇,方能达至远方。愿交志同道合之友,共探此诸般妙趣。

诸君,此文尚佳,望点赞收藏,谢之!

  1. 下载llama.cpp框架编译环境(llama.cpp/docs/build.md at master · ggerganov/llama.cpp · GitHub):
  1. 下载w64devkit:Releases · skeeto/w64devkit · GitHub
  1. 解压后直接运行w64devkit.exe:
  1. 下载llama.cp源码:

    git clone https://github.com/ggerganov/llama.cpp

进入llama.cpp目录,执行make命令:

  1. 运行后,在llama.cpp目录找到llama-cli.exe表示安装成功
  1. 下载Qwen2-0.5B-Instruct-GGUF格式模型:魔搭社区

7.在llama-cli.exe文件所在目录新建chat-with-qwen.txt文件,内容为:You are a helpful assistant.

在llama-cli.exe文件所在目录打开命中行,执行:

复制代码
llama-cli.exe -m ..\Qwen2-0.5B-Instruct-GGUF\qwen2-0_5b-instruct-q5_k_m.gguf -n 512 -co -i -if -f chat-with-qwen.txt --in-prefix "<|im_start|>user\n" --in-suffix "<|im_end|>\n<|im_start|>assistant\n" -ngl 24

结果:

可以进行交互了~

  1. 以服务的形式运行模型:

    llama-server.exe -m ..\Qwen2-0.5B-Instruct-GGUF\qwen2-0_5b-instruct-q5_k_m.gguf -ngl 24 -fa

结果:

启动成功,使用postman测试:

相关推荐
LETTER•1 天前
Llama 模型架构解析:从 Pre-RMSNorm 到 GQA 的技术演进
深度学习·语言模型·自然语言处理·llama
拓端研究室1 天前
JupyterLab+PyTorch:LoRA+4-bit量化+SFT微调Llama 4医疗推理应用|附代码数据
llama
之歆3 天前
LangGraph构建多智能体
人工智能·python·llama
胡耀超5 天前
开源生态与技术民主化 - 从LLaMA到DeepSeek的开源革命(LLaMA、DeepSeek-V3、Mistral 7B)
人工智能·python·神经网络·开源·大模型·llama·deepseek
居7然6 天前
如何高效微调大模型?LLama-Factory一站式解决方案全解析
人工智能·大模型·llama·大模型训练·vllm
万事可爱^6 天前
如何在云服务器上使用LLaMA Factory框架微调模型
运维·服务器·llm·sft·llama·模型微调·ai agent
max5006006 天前
基于Meta Llama的二语习得学习者行为预测计算模型
人工智能·算法·机器学习·分类·数据挖掘·llama
谷咕咕6 天前
windows下python3,LLaMA-Factory部署以及微调大模型,ollama运行对话,开放api,java,springboot项目调用
java·windows·语言模型·llama
时序之心9 天前
ACL 2025 Time-LlaMA 大语言模型高效适配时间序列预测
人工智能·语言模型·论文·llama·时间序列
谷新龙0019 天前
mac m4电脑运行 LLaMA Factory 微调
macos·llama