SenseVoice 离线部署指南（Xinference Docker v1.12）

SenseVoice 离线部署指南（Xinference Docker v1.12）

前提条件

• ✅ Xinference Docker 容器已部署（版本 v1.12）
• ✅ SenseVoice 模型已下载并挂载到 /models 目录
• ✅ FSMN-VAD 模型已下载，路径：/models/speech_fsmn_vad_zh-cn-16k-common-pytorch

加载 SenseVoice 模型

方法 1：通过 Web UI（推荐）

1. 访问 http://localhost:9998/
2. 找到 SenseVoice 模型，点击"加载"
3. 在配置页面中，滚动到页面底部
4. 找到 "Additional parameters passed to the inference engine" 部分
5. 点击旁边的 "+" 图标添加参数
6. 添加键值对：
   • Key : vad_model
   • Value : /models/speech_fsmn_vad_zh-cn-16k-common-pytorch
7. 点击"提交"或"加载"按钮

方法 2：通过 API

curl -X POST "http://localhost:9998/v1/models" \
  -H "Content-Type: application/json" \
  -d '{
    "model_name": "SenseVoiceSmall",
    "model_type": "audio",
    "model_format": "pytorch",
    "model_uid": "sensevoice-small",
    "quantization": null,
    "extra": {
      "vad_model": "/models/speech_fsmn_vad_zh-cn-16k-common-pytorch"
    }
  }'

方法 3：通过命令行

docker exec -it xinference bash
xinference-cli load \
  --model-name SenseVoiceSmall \
  --model-type audio \
  --extra '{"vad_model": "/models/speech_fsmn_vad_zh-cn-16k-common-pytorch"}'

验证

# 检查模型状态
curl http://localhost:9998/v1/models

# 查看容器日志
docker logs xinference | grep -i "sensevoice\|vad\|error"

常见问题

模型加载失败？

• 确认 VAD 模型路径：docker exec xinference ls -lh /models/speech_fsmn_vad_zh-cn-16k-common-pytorch/
• 检查容器日志：docker logs xinference

VAD 功能不可用？

• 确认 vad_model 参数值正确：/models/speech_fsmn_vad_zh-cn-16k-common-pytorch