SenseVoice 离线部署指南（Xinference Docker v1.12）

文言一心2025-11-11 17:21

SenseVoice 离线部署指南（Xinference Docker v1.12）

前提条件

✅ Xinference Docker 容器已部署（版本 v1.12）
✅ SenseVoice 模型已下载并挂载到 /models 目录
✅ FSMN-VAD 模型已下载，路径：/models/speech_fsmn_vad_zh-cn-16k-common-pytorch

加载 SenseVoice 模型

方法 1：通过 Web UI（推荐）

访问 http://localhost:9998/
找到 SenseVoice 模型，点击"加载"
在配置页面中，滚动到页面底部
找到 "Additional parameters passed to the inference engine" 部分
点击旁边的 "+" 图标添加参数
添加键值对：
- Key : vad_model
- Value : /models/speech_fsmn_vad_zh-cn-16k-common-pytorch
点击"提交"或"加载"按钮

方法 2：通过 API

bash 复制代码

curl -X POST "http://localhost:9998/v1/models" \
  -H "Content-Type: application/json" \
  -d '{
    "model_name": "SenseVoiceSmall",
    "model_type": "audio",
    "model_format": "pytorch",
    "model_uid": "sensevoice-small",
    "quantization": null,
    "extra": {
      "vad_model": "/models/speech_fsmn_vad_zh-cn-16k-common-pytorch"
    }
  }'

方法 3：通过命令行

bash 复制代码

docker exec -it xinference bash
xinference-cli load \
  --model-name SenseVoiceSmall \
  --model-type audio \
  --extra '{"vad_model": "/models/speech_fsmn_vad_zh-cn-16k-common-pytorch"}'

验证

bash 复制代码

# 检查模型状态
curl http://localhost:9998/v1/models

# 查看容器日志
docker logs xinference | grep -i "sensevoice\|vad\|error"

常见问题

模型加载失败？

确认 VAD 模型路径：docker exec xinference ls -lh /models/speech_fsmn_vad_zh-cn-16k-common-pytorch/
检查容器日志：docker logs xinference

VAD 功能不可用？

确认 vad_model 参数值正确：/models/speech_fsmn_vad_zh-cn-16k-common-pytorch