docker部署本地词向量模型

开源项目:GitHub - huggingface/text-embeddings-inference: A blazing fast inference solution for text embeddings models

1. 下载词向量模型

参考我的另一篇博客:langchain 加载本地词向量模型

2. 部署词向量模型

就三行命令

复制代码
model=/data/BAAI/bge-m3
volume=/home/project/text_embedding/models
docker run -p 8082:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cpu-1.5 --model-id $model

会先去下载 docker 镜像,然后运行容器。我这里下载的是 cpu 版本的 docker 镜像,其他硬件环境的 docker 镜像参考:https://huggingface.co/docs/text-embeddings-inference/supported_models

特别要强调的是:model 的路径可不是随便写的。在我的这个例子中,启动 docker 时,映射的路径是**$volume:/data** ,因此 model 的路径必须以**/data** 开头,不然的话是找不到模型的。

我的模型存放路径:/home/project/text_embedding/models/BAAI/bge-m3,大家可以参考我的路径来调整 model 和 volume 变量的值。

3. 调用词向量模型

使用 REST API 调用,可调用的 API 参考:Text Embeddings Inference API

复制代码
curl 127.0.0.1:8082/embed \
    -X POST \
    -d '{"inputs":"What is Deep Learning?"}' \
    -H 'Content-Type: application/json'
相关推荐
数智顾问7 分钟前
【73页PPT】美的简单高效的管理逻辑(附下载方式)
大数据·人工智能·产品运营
love530love9 分钟前
【保姆级教程】阿里 Wan2.1-T2V-14B 模型本地部署全流程:从环境配置到视频生成(附避坑指南)
人工智能·windows·python·开源·大模型·github·音视频
木头左11 分钟前
结合机器学习的Backtrader跨市场交易策略研究
人工智能·机器学习·kotlin
Coovally AI模型快速验证17 分钟前
3D目标跟踪重磅突破!TrackAny3D实现「类别无关」统一建模,多项SOTA达成!
人工智能·yolo·机器学习·3d·目标跟踪·无人机·cocos2d
研梦非凡22 分钟前
CVPR 2025|基于粗略边界框监督的3D实例分割
人工智能·计算机网络·计算机视觉·3d
MiaoChuAI27 分钟前
秒出PPT vs 豆包AI PPT:实测哪款更好用?
人工智能·powerpoint
fsnine1 小时前
深度学习——残差神经网路
人工智能·深度学习
和鲸社区1 小时前
《斯坦福CS336》作业1开源,从0手搓大模型|代码复现+免环境配置
人工智能·python·深度学习·计算机视觉·语言模型·自然语言处理·nlp
fanstuck1 小时前
2025 年高教社杯全国大学生数学建模竞赛C 题 NIPT 的时点选择与胎儿的异常判定详解(一)
人工智能·目标检测·数学建模·数据挖掘·aigc
cxr8281 小时前
Claude Code PM 深度实战指南:AI驱动的GitHub项目管理与并行协作
人工智能·驱动开发·github