技术栈

推理部署

70asunflower
13 天前
人工智能·推理部署·qwen3.8
Qwen3.8-27B 在 Jetson Thor 上的 llama.cpp 部署手册(Q8_0 + MTP)文档日期:2026-08-17|本文档为公开脱敏版(原内网 IP 与用户名已替换为 <THOR_IP> / %USERPROFILE% 占位符) 设备:Jetson Thor(Blackwell T5000)|引擎:llama.cpp(GGUF)|量化:Q8_0(~29.0 GB)+ MTP 投机解码 状态:✅ 部署完成且接入 WorkBuddy(服务 http://<THOR_IP>:8080,模型 thor-qwen38-q8,实测对话通过)
@鱼香肉丝没有鱼
1 年前
ai·大模型·推理部署
分布式推理与量化部署定义 : 将训练好的模型在特定软硬件环境中启动的过程,使模型能够接收输入并返回预测结果。为了满足性能和效率的需求,常常需要对模型进行优化,例如模型压缩和硬件加速。
我是有底线的