数字人本地部署之llama-本地推理模型

llama 本地服务命令

llama-server.exe -m "data/LLM/my.gguf" --port 8080

-m data/LLM/my.gguf

-m 属于命令行选项,一般用来指定要加载的模型文件。

data/LLM/my.gguf 是模型文件的路径。gguf 格式的文件是一种用于存储语言模型权重的文件格式,服务器会加载这个文件里的模型权重,从而使用对应的语言模型开展任务。

--port 8080

--port 也是命令行选项,其作用是指定服务器要监听的端口号。

二、llama帮助命令

llama-server.exe --help

三、llama命令工具下载

https://github.com/ggml-org/llama.cpp/releases

如何选择下载版本

cuda

cudart-llama-bin-win-cu11.7-x64.zip

四、如何查看自己电脑CPU指令

未来商城---APPSTORE

相关推荐
第六五2 分钟前
DPC和DPC-KNN算法
人工智能·算法·机器学习
Xxtaoaooo4 分钟前
OCR文字识别前沿:PaddleOCR/DBNet++的端到端文本检测与识别
人工智能·ai·ocr·文本检测·dbnet++
taxunjishu5 分钟前
DeviceNet 转 MODBUS TCP:倍福 CX 系列 PLC 与 MES 系统在 SMT 回流焊温度曲线监控的通讯配置案例
运维·人工智能·物联网·自动化·区块链
小烤箱12 分钟前
自动驾驶工程师面试(定位、感知向)
人工智能·面试·自动驾驶
IT_陈寒14 分钟前
《Redis性能翻倍的7个冷门技巧,90%开发者都不知道!》
前端·人工智能·后端
龙俊杰的读书笔记28 分钟前
《小白学随机过程》第一章:随机过程——定义和形式 (附录1 探究随机变量)
人工智能·机器学习·概率论·随机过程和rl
长空任鸟飞_阿康38 分钟前
在 Vue 3.5 中优雅地集成 wangEditor,并定制“AI 工具”下拉菜单(总结/润色/翻译)
前端·vue.js·人工智能
滑水滑成滑头44 分钟前
**发散创新:多智能体系统的探索与实践**随着人工智能技术的飞速发展,多智能体系统作为当今研究的热点领域,正受到越来越多关注
java·网络·人工智能·python
云布道师1 小时前
阿里云 OSS MetaQuery 全面升级——新增内容和语义的检索能力,助力 AI 应用快速落地
人工智能·阿里云·云计算
m0_650108241 小时前
【论文精读】FlowVid:驯服不完美的光流,实现一致的视频到视频合成
人工智能·计算机视觉·扩散模型·视频编辑·视频生成·论文精读·不完美光流