【大模型系列】llama.cpp本地运行大模型

上一篇链接: 【大模型系列】使用ollama本地运行千问2.5模型 我们讲了ollama本地运行大模型,这里我们介绍另一种本地运行大模型的方法:llamacpp

软件下载

下载地址:https://github.com/ggml-org/llama.cpp/releases

下载cpu版本的llamacpp;建议下载3982版本的,新版本我试了在win上运行不了

下载后是一个压缩包,解压后配置Path

配置path

把解压后的路径加入到path中

校验

任意新开命令行,输入指令:

cpp 复制代码
llama-cli -v

出现以下内容表示安装成功

启动

到模型所在目录,执行以下命令即可;下载模型可见我另一篇:链接: 【大模型系列】入门常识备忘 ,这里我们下载的gguf格式的模型

cpp 复制代码
llama-server -m qwen2.5-7b-instruct-q5_0.gguf --port 8088 -c 2048

port 是服务的端口

c 是context的意思,即最大能处理多少个token

启动后就可以通过浏览器 http://localhost:8088 访问服务了

调试开始

over~~

相关推荐
Lululaurel9 小时前
提示工程深度解析:驾驭大语言模型的艺术与科学
人工智能·ai·aigc·提示词
冷yan~12 小时前
Spring AI与智能代理模式的深度解析
java·spring·ai·ai编程
程序员鱼皮12 小时前
Claude 封杀中国后,我终于找到了平替!
计算机·ai·程序员·大模型·互联网
Apifox.13 小时前
Apifox 9 月更新| AI 生成接口测试用例、在线文档调试能力全面升级、内置更多 HTTP 状态码、支持将目录转换为模块
前端·人工智能·后端·http·ai·测试用例·postman
武子康13 小时前
AI-调查研究-95-具身智能 机器人场景测试全解析:从极端环境仿真到自动化故障注入
人工智能·深度学习·机器学习·ai·机器人·自动化·具身智能
realhuizhu13 小时前
国庆收心指南:用AI提示词工程解决节后综合征
人工智能·ai·chatgpt·prompt·提示词·deepseek·假期综合征·节后综合征
HBR666_1 天前
AI编辑器(二) ---调用模型的fim功能
前端·ai·编辑器·fim·tiptap
三天哥1 天前
Sora 2为什么会火?
人工智能·gpt·ai·aigc·agi·ai视频·sora
blues_C2 天前
Playwright MCP vs Chrome DevTools MCP vs Chrome MCP 深度对比
前端·人工智能·chrome·ai·chrome devtools·mcp·ai web自动化测试
关关长语2 天前
(三) Dotnet为AI控制台对话添加依赖注入等集成
人工智能·ai·ai dotnet