docker部署本地词向量模型

凯尔哥2024-07-31 3:04

开源项目：GitHub - huggingface/text-embeddings-inference: A blazing fast inference solution for text embeddings models

1. 下载词向量模型

2. 部署词向量模型

就三行命令

复制代码

model=/data/BAAI/bge-m3
volume=/home/project/text_embedding/models
docker run -p 8082:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cpu-1.5 --model-id $model

会先去下载 docker 镜像，然后运行容器。我这里下载的是 cpu 版本的 docker 镜像，其他硬件环境的 docker 镜像参考：https://huggingface.co/docs/text-embeddings-inference/supported_models

特别要强调的是：model 的路径可不是随便写的。在我的这个例子中，启动 docker 时，映射的路径是**$volume:/data** ，因此 model 的路径必须以**/data** 开头，不然的话是找不到模型的。

我的模型存放路径：/home/project/text_embedding/models/BAAI/bge-m3，大家可以参考我的路径来调整 model 和 volume 变量的值。

3. 调用词向量模型

使用 REST API 调用，可调用的 API 参考：Text Embeddings Inference API

复制代码

curl 127.0.0.1:8082/embed \
    -X POST \
    -d '{"inputs":"What is Deep Learning?"}' \
    -H 'Content-Type: application/json'