在docker下部署Xinference

1.首先先去弄一个持久化的目录

mkdir -p ~/xinference/data

2.给docker提权

sudo usermod -aG docker $USER

newgrp docker

3.执行下面的下载代码

docker run -d \
  --name xinference \
  --gpus all \
  -p 9997:9997 \
  -v ~/xinference/data:/workspace \
  -e XINFERENCE_HOME=/workspace \
  -e XINFERENCE_MODEL_SRC=modelscope \
  --restart always \
  xprobe/xinference:latest \
  xinference-local -H 0.0.0.0

然后经过漫长的等待解决一些小bug就行了！