数字人本地部署之llama-本地推理模型

llama 本地服务命令

llama-server.exe -m "data/LLM/my.gguf" --port 8080

-m data/LLM/my.gguf

-m 属于命令行选项,一般用来指定要加载的模型文件。

data/LLM/my.gguf 是模型文件的路径。gguf 格式的文件是一种用于存储语言模型权重的文件格式,服务器会加载这个文件里的模型权重,从而使用对应的语言模型开展任务。

--port 8080

--port 也是命令行选项,其作用是指定服务器要监听的端口号。

二、llama帮助命令

llama-server.exe --help

三、llama命令工具下载

https://github.com/ggml-org/llama.cpp/releases

如何选择下载版本

cuda

cudart-llama-bin-win-cu11.7-x64.zip

四、如何查看自己电脑CPU指令

未来商城---APPSTORE

相关推荐
feng14561 分钟前
OpenSREClaw - 混沌工程驱动的风险防控利器
人工智能
QiZhang | UESTC3 分钟前
InstructGPT_论文精读笔记
人工智能·笔记·深度学习
侃谈科技圈5 分钟前
模型之外,声网定义了AI交互新标准
人工智能
weixin_553654487 分钟前
ChatGPT好用还是Gemini好用?
人工智能·chatgpt·大模型
阿文的代码库8 分钟前
机器学习评价指标之转换化为二分类任务
人工智能·分类·数据挖掘
余衫马8 分钟前
Microsoft Semantic Kernel 实战:使用内核参数实现一个简单的对话机器人
人工智能·microsoft·ai·agent·智能体
搞科研的小刘选手8 分钟前
【大连市计算机学会主办】第三届图像处理、智能控制与计算机工程国际学术会议(IPICE 2026)
图像处理·人工智能·深度学习·算法·计算机·数据挖掘·智能控制
灰灰勇闯IT8 分钟前
ops-softmax:Transformer 推理中的概率归一化引擎
人工智能·深度学习·transformer
翼龙云_cloud9 分钟前
云代理商:Hermes Agent在量化交易中的实战应用
运维·服务器·人工智能·ai智能体·hermes agent
人月神话-Lee11 分钟前
【图像处理】高斯模糊——最优雅的模糊算法
图像处理·人工智能·算法·ios·ai编程·swift