Windows Anaconda使用Sentence-BERT获取句子向量

1、安装Anaconda

Anaconda是一个流行的Python数据科学平台,它包含了许多科学计算和数据分析的库,包括transformerssentence_transformers。虽然不是必需的,但使用Anaconda可以简化环境管理和依赖安装的过程。

可以从Anaconda官网下载并安装Anaconda。

下载地址:Download Now | Anaconda

2、创建虚拟环境(推荐)

为了避免不同项目之间的依赖冲突,建议为每个项目创建一个独立的虚拟环境。如果已经安装了Anaconda,可以使用以下命令创建虚拟环境:

复制代码
conda create --name sentence_bert_env python=3.8

激活名称为 sentence_bert_env 的虚拟环境:

复制代码
conda activate sentence_bert_env

3、安装必要的包

在虚拟环境中,通过pip安装transformerssentence_transformers库:

复制代码
pip install transformers sentence_transformers

默认情况下,pip 会从 pypi 的官方服务器下载包,这可能会因为网络问题导致速度较慢。可以切换到国内的镜像源来加速下载。

复制代码
pip install transformers sentence-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
常用国内镜像源

有时 pip 缓存可能会导致安装失败或变慢。可以清理缓存后重新安装:

复制代码
pip cache purge
pip install transformers sentence-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

4、加载预训练模型

sentence_transformers库中选择合适的预训练模型。例如,可以使用以下python代码新建load_model.py加载一个名为all-MiniLM-L6-v2的预训练模型,

复制代码
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-MiniLM-L6-v2')

网络不好会下载失败,这时候可以先下载好,在指定模型的路径(推荐)

官方下载地址:https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2

官方打不开可以用这个地址:Index of /reimers/sentence-transformers/v0.2/

复制代码
from sentence_transformers import SentenceTransformer
model_path = r"D:\models\all-MiniLM-L6-v2"
model = SentenceTransformer(model_path)

不同模型文件所需空间

模型名称 大小
all-MiniLM-L6-v2 ~90MB
paraphrase-MiniLM-L6-v2 ~90MB
bert-base-uncased ~440MB
roberta-base ~440MB
distilbert-base-uncased ~250MB

5、准备输入数据

将要处理的句子整理成一个列表,作为模型的输入。例如:

复制代码
sentences = ['This is a beautiful day.', 'I love spending time with my family.']

6、获取句子向量表示

使用加载的模型对输入句子进行编码,得到每个句子的向量表示。这些向量能够捕捉句子的语义信息,可以用于后续的各种NLP任务。例如:

复制代码
embeddings = model.encode(sentences)

for sentence, embedding in zip(sentences, embeddings):
    print(f"Sentence: {sentence}")
    print(f"Embedding: {embedding[:5]}... (维度: {len(embedding)})")

这将输出一个二维数组,其中包含了输入句子的向量表示。

完整的python代码:

复制代码
# 从sentence transformers中SentenceTransformer 模块
from sentence_transformers import SentenceTransformer

# 替换为你的本地模型路径
model_path = r"D:\models\all-MiniLM-L6-v2"
# 加载模型
model = SentenceTransformer(model_path)

# 测试模型
sentences = ['This is a beautiful day.', 'I love spending time with my family.']
embeddings = model.encode(sentences)

# 输出模型向量
for sentence, embedding in zip(sentences, embeddings):
    print(f"Sentence: {sentence}")
    print(f"Embedding: {embedding[:5]}... (维度: {len(embedding)})")

执行代码:

复制代码
 python load_model.py

7、应用向量表示

根据具体任务需求,使用得到的句子向量进行后续处理。例如,在文本相似度计算任务中,可以使用余弦相似度等度量方法来计算两个句子向量之间的相似度;在文本分类任务中,可以将句子向量输入到分类器中进行预测。

通过以上步骤,就能够在Windows系统上成功使用Sentence-BERT来处理自然语言处理任务。

有了向量数据就可以在elasticsearch中实现相识度搜索,可以使用es提供的knn进行相似度搜索,实现相似度推荐系统功能。

还有一点就是,不同的预训练模型计算出来的向量也是不一样的,如果使用中文的话,需要专门找中文的预训练模型把语句转为向量。

es文档:

向量字段类型:Dense vector field type | Elasticsearch Guide [8.6] | Elastic

查询语法:k-nearest neighbor (kNN) search | Elasticsearch Guide [8.6] | Elastic

参考文章:

Anaconda介绍、安装及使用保姆级教程-腾讯云开发者社区-腾讯云

解决Sentence Transformers中all-minilm-l6-v2等模型下载问题-CSDN博客

相关推荐
两棵雪松21 分钟前
如何通过向量化技术比较两段文本是否相似?
人工智能
heart000_122 分钟前
128K 长文本处理实战:腾讯混元 + 云函数 SCF 构建 PDF 摘要生成器
人工智能·自然语言处理·pdf
敲键盘的小夜猫28 分钟前
LLM复杂记忆存储-多会话隔离案例实战
人工智能·python·langchain
开开心心_Every42 分钟前
便捷的Office批量转PDF工具
开发语言·人工智能·r语言·pdf·c#·音视频·symfony
cooldream20091 小时前
「源力觉醒 创作者计划」_基于 PaddlePaddle 部署 ERNIE-4.5-0.3B 轻量级大模型实战指南
人工智能·paddlepaddle·文心大模型
亚里随笔1 小时前
L0:让大模型成为通用智能体的强化学习新范式
人工智能·llm·大语言模型·rlhf
白杆杆红伞伞1 小时前
T01_神经网络
人工智能·深度学习·神经网络
槑槑紫2 小时前
深度学习pytorch整体流程
人工智能·pytorch·深度学习
Fireworkitte2 小时前
安装 Elasticsearch IK 分词器
大数据·elasticsearch
盼小辉丶2 小时前
TensorFlow深度学习实战——去噪自编码器详解与实现
人工智能·深度学习·tensorflow