【大模型系列】llama.cpp本地运行大模型

上一篇链接: 【大模型系列】使用ollama本地运行千问2.5模型 我们讲了ollama本地运行大模型,这里我们介绍另一种本地运行大模型的方法:llamacpp

软件下载

下载地址:https://github.com/ggml-org/llama.cpp/releases

下载cpu版本的llamacpp;建议下载3982版本的,新版本我试了在win上运行不了

下载后是一个压缩包,解压后配置Path

配置path

把解压后的路径加入到path中

校验

任意新开命令行,输入指令:

cpp 复制代码
llama-cli -v

出现以下内容表示安装成功

启动

到模型所在目录,执行以下命令即可;下载模型可见我另一篇:链接: 【大模型系列】入门常识备忘 ,这里我们下载的gguf格式的模型

cpp 复制代码
llama-server -m qwen2.5-7b-instruct-q5_0.gguf --port 8088 -c 2048

port 是服务的端口

c 是context的意思,即最大能处理多少个token

启动后就可以通过浏览器 http://localhost:8088 访问服务了

调试开始

over~~

相关推荐
DeepSeek-大模型系统教程6 小时前
深入金融与多模态场景实战:金融文档分块技术与案例汇总
人工智能·ai·语言模型·程序员·大模型·大模型学习·大模型教程
程序员鱼皮8 小时前
Cursor 网页版来了,这下拉屎时也能工作了
计算机·ai·程序员·开发·项目·编程经验
我是小哪吒2.08 小时前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型
小眼睛FPGA12 小时前
【RK3568+PG2L50H开发板实验例程】Linux部分/FPGA dma_memcpy_demo 读写案例
linux·运维·科技·ai·fpga开发·gpu算力
DeepSeek-大模型系统教程21 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
master-dragon1 天前
spring-ai 工作流
人工智能·spring·ai
ZNineSun1 天前
MCP+Cursor入门
ai·cursor·mcp
音视频牛哥1 天前
计算机视觉的新浪潮:扩散模型(Diffusion Models)技术剖析与应用前景
人工智能·计算机视觉·ai·音视频·实时音视频·扩散模型