【大模型系列】llama.cpp本地运行大模型

上一篇链接: 【大模型系列】使用ollama本地运行千问2.5模型 我们讲了ollama本地运行大模型,这里我们介绍另一种本地运行大模型的方法:llamacpp

软件下载

下载地址:https://github.com/ggml-org/llama.cpp/releases

下载cpu版本的llamacpp;建议下载3982版本的,新版本我试了在win上运行不了

下载后是一个压缩包,解压后配置Path

配置path

把解压后的路径加入到path中

校验

任意新开命令行,输入指令:

cpp 复制代码
llama-cli -v

出现以下内容表示安装成功

启动

到模型所在目录,执行以下命令即可;下载模型可见我另一篇:链接: 【大模型系列】入门常识备忘 ,这里我们下载的gguf格式的模型

cpp 复制代码
llama-server -m qwen2.5-7b-instruct-q5_0.gguf --port 8088 -c 2048

port 是服务的端口

c 是context的意思,即最大能处理多少个token

启动后就可以通过浏览器 http://localhost:8088 访问服务了

调试开始

over~~

相关推荐
广州明周科技10 小时前
Revit 200+新功能之“房间面积图表”,房间数据可视化功能,轻松洞察项目空间信息!
ai·信息可视化·数据分析·bim·revit二次开发·revit·deepseek
ExperDot10 小时前
20 个追求极致体验的 AI 聊天软件功能
ai
王哈哈^_^21 小时前
【数据集】【YOLO】【目标检测】口罩数据集,口罩佩戴识别数据集 1971 张,YOLO佩戴口罩检测算法实战训练教程。
人工智能·算法·yolo·目标检测·计算机视觉·ai·视觉检测
CoderJia程序员甲1 天前
GitHub 热榜项目 - 日榜(2025-10-27)
ai·开源·大模型·github·ai教程
kalvin_y_liu1 天前
Lumi 具神智能机器人 SDK说明和ACT算法中的学习与推理
人工智能·ai·ros
熙客1 天前
Cursor:开发常用工具网站
ai·ai作画·ai编程·ai写作
lgbisha1 天前
Dify异步接口调用优化实践:解决长时任务处理与网络超时问题
人工智能·python·ai·语言模型
AI妈妈手把手1 天前
深入浅出Faster R-CNN:目标检测的里程碑算法
人工智能·目标检测·ai·cnn·图像识别·faster rcnn
FlagOS智算系统软件栈1 天前
全球 PyTorch 大会与 Triton 大会释放强信号:算子语言繁荣和分化背后,编译器核心地位日益凸显
人工智能·pytorch·python·科技·深度学习·ai·开源