docker部署本地词向量模型

开源项目:GitHub - huggingface/text-embeddings-inference: A blazing fast inference solution for text embeddings models

1. 下载词向量模型

参考我的另一篇博客:langchain 加载本地词向量模型

2. 部署词向量模型

就三行命令

复制代码
model=/data/BAAI/bge-m3
volume=/home/project/text_embedding/models
docker run -p 8082:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cpu-1.5 --model-id $model

会先去下载 docker 镜像,然后运行容器。我这里下载的是 cpu 版本的 docker 镜像,其他硬件环境的 docker 镜像参考:https://huggingface.co/docs/text-embeddings-inference/supported_models

特别要强调的是:model 的路径可不是随便写的。在我的这个例子中,启动 docker 时,映射的路径是**$volume:/data** ,因此 model 的路径必须以**/data** 开头,不然的话是找不到模型的。

我的模型存放路径:/home/project/text_embedding/models/BAAI/bge-m3,大家可以参考我的路径来调整 model 和 volume 变量的值。

3. 调用词向量模型

使用 REST API 调用,可调用的 API 参考:Text Embeddings Inference API

复制代码
curl 127.0.0.1:8082/embed \
    -X POST \
    -d '{"inputs":"What is Deep Learning?"}' \
    -H 'Content-Type: application/json'
相关推荐
ZWZhangYu2 分钟前
LangChain 构建向量数据库和检索器
数据库·langchain·easyui
千宇宙航5 分钟前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
onceco33 分钟前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
天水幼麟1 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
jndingxin3 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
天水幼麟3 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
Sweet锦4 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988944 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03274 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿5 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习