【大模型系列】llama.cpp本地运行大模型

上一篇链接: 【大模型系列】使用ollama本地运行千问2.5模型 我们讲了ollama本地运行大模型,这里我们介绍另一种本地运行大模型的方法:llamacpp

软件下载

下载地址:https://github.com/ggml-org/llama.cpp/releases

下载cpu版本的llamacpp;建议下载3982版本的,新版本我试了在win上运行不了

下载后是一个压缩包,解压后配置Path

配置path

把解压后的路径加入到path中

校验

任意新开命令行,输入指令:

cpp 复制代码
llama-cli -v

出现以下内容表示安装成功

启动

到模型所在目录,执行以下命令即可;下载模型可见我另一篇:链接: 【大模型系列】入门常识备忘 ,这里我们下载的gguf格式的模型

cpp 复制代码
llama-server -m qwen2.5-7b-instruct-q5_0.gguf --port 8088 -c 2048

port 是服务的端口

c 是context的意思,即最大能处理多少个token

启动后就可以通过浏览器 http://localhost:8088 访问服务了

调试开始

over~~

相关推荐
星月昭铭1 小时前
Spring AI调用Embedding模型返回HTTP 400:Invalid HTTP request received分析处理
人工智能·spring boot·python·spring·ai·embedding
带刺的坐椅3 小时前
Solon v3.4.2(Java 应用开发生态基座)
java·ai·solon·liteflow·mcp
冰镇西瓜3 小时前
windows本地使用conda部署Open-webui
windows·ai·conda
Anonymous-OS4 小时前
Prompt编写规范指引
ai·prompt·aigc·提示词
智海观潮6 小时前
DeepSeek在大数据领域正掀起一场深刻的变革
大数据·ai·deepseek
星月昭铭6 小时前
Spring AI集成Elasticsearch向量检索时filter过滤失效问题排查与解决方案
人工智能·spring boot·spring·elasticsearch·ai
SEO_juper10 小时前
从人工到智能:SEO测试工作流的AI集成框架与ROI提升方案
人工智能·ai·chatgpt·工具·seo·数字营销
MicrosoftReactor12 小时前
技术速递|GitHub Copilot 的 Agent 模式现已全面上线 JetBrains、Eclipse 和 Xcode!
ai·github·copilot
姜 萌@cnblogs15 小时前
Rust并发编程中的所有权挑战与解决方案:从实际项目看Clone策略的应用
ai·rust·tauri
饭碗、碗碗香18 小时前
【vLLM学习笔记】:vLLM 参数说明
人工智能·笔记·学习·ai