数字人本地部署之llama-本地推理模型

llama 本地服务命令

llama-server.exe -m "data/LLM/my.gguf" --port 8080

-m data/LLM/my.gguf

-m 属于命令行选项,一般用来指定要加载的模型文件。

data/LLM/my.gguf 是模型文件的路径。gguf 格式的文件是一种用于存储语言模型权重的文件格式,服务器会加载这个文件里的模型权重,从而使用对应的语言模型开展任务。

--port 8080

--port 也是命令行选项,其作用是指定服务器要监听的端口号。

二、llama帮助命令

llama-server.exe --help

三、llama命令工具下载

https://github.com/ggml-org/llama.cpp/releases

如何选择下载版本

cuda

cudart-llama-bin-win-cu11.7-x64.zip

四、如何查看自己电脑CPU指令

未来商城---APPSTORE

相关推荐
IT观察15 分钟前
以需求破局:DPVR AI Glasses 重塑 AI 眼镜产业生态
人工智能
PixelMind34 分钟前
【IQA技术专题】DISTS代码讲解
图像处理·人工智能·python·算法·iqa
大志说编程38 分钟前
LangChain框架入门03:PromptTemplate 提示词模板
人工智能
岁月的眸1 小时前
【科普】贝叶斯神经网络与分形神经网络
人工智能·深度学习·神经网络
AI是草卖哩1 小时前
PINN+贝叶斯:深度学习中的魔改新思路
人工智能·深度学习·贝叶斯·pinn
阿里云大数据AI技术1 小时前
【跨国数仓迁移最佳实践4】MaxCompute 企业级能力升级:跨域访问控制与数据安全特性增强
大数据·人工智能·云计算
Swift社区1 小时前
用 AI 解析采购订单,从上传到自动生成 Draft 订单全流程实战
人工智能
TalkU浩克1 小时前
DoRA详解:从LoRA到权重分解的进化
人工智能·深度学习·机器学习
聚客AI1 小时前
⚡工程师的AGI落地指南:从基础概念到智能体开发的完整地图
人工智能·llm·agent
从零开始学习人工智能2 小时前
Coze Studio:开源AI Agent开发工具的全方位实践指南
人工智能·开源