数字人本地部署之llama-本地推理模型

llama 本地服务命令

llama-server.exe -m "data/LLM/my.gguf" --port 8080

-m data/LLM/my.gguf

-m 属于命令行选项,一般用来指定要加载的模型文件。

data/LLM/my.gguf 是模型文件的路径。gguf 格式的文件是一种用于存储语言模型权重的文件格式,服务器会加载这个文件里的模型权重,从而使用对应的语言模型开展任务。

--port 8080

--port 也是命令行选项,其作用是指定服务器要监听的端口号。

二、llama帮助命令

llama-server.exe --help

三、llama命令工具下载

https://github.com/ggml-org/llama.cpp/releases

如何选择下载版本

cuda

cudart-llama-bin-win-cu11.7-x64.zip

四、如何查看自己电脑CPU指令

未来商城---APPSTORE

相关推荐
炎火星2 分钟前
直播切片素材杂乱,怎么用 AI 剪辑做成可用带货视频?
人工智能
像风一样的男人@7 分钟前
python --fastapi推流AI推理
人工智能·python·fastapi
行走的小派16 分钟前
从个人开发到企业部署:OPi AI Station四大应用场景与选型指南
人工智能·边缘计算·香橙派·边缘ai
天云数据17 分钟前
从“雇佣一个人”到“组建一个团队”:AI生产力的组织方式被重写
人工智能
2601_9563198822 分钟前
最新量化开发卡住,先查规则和流程是否完整
人工智能·python
weixin_66842 分钟前
Cursor-superpowers插件用法
数据库·人工智能
adinnet202644 分钟前
深度拆解企业级 Agent 架构:LangGraph + 知识图谱 + 向量检索的协同设计
人工智能·架构·知识图谱
武子康44 分钟前
Shippy:确定性工具、会话级 Sandbox 与 Live-Data Eval(4 类收敛 + 7 步实现方案 + 6 类评测指标)
前端·人工智能·后端
糖果店的幽灵1 小时前
langgraph分支之 - 动态分支(Dynamic Branch)
java·前端·javascript·人工智能·langgraph
这张生成的图像能检测吗1 小时前
(论文速读)SCNN:用于交通场景理解的空间CNN
人工智能·深度学习·目标检测·计算机视觉·道路线检测