你有没有过这样的经历:想知道两篇文章是否在讲同一个主题?或者判断两段文本的意思是否接近?比如检查实习生写的报告是否存在抄袭,或者进行论文查重?
通过向量化技术即可解决这个问题。
一、首先需要将文字段落转换为向量
为什么要把文本变成"向量"?因为计算机无法直接理解人类文字,只能处理数字。例如"苹果"这个词,在计算机眼中只是一串字符,但我们可以通过特定的编码方法,将其转换为一组数字(如[0.8, 0.3, 0.6...])。这组数字就像文本的"数字指纹",包含了文本的语义信息,这个过程称为"向量化"。
关于什么是向量,可参考:https://www.cnblogs.com/twosedar/p/18957931
关于如何将文本转换为向量,可以参考:https://www.cnblogs.com/twosedar/p/18962405
二、对比两段向量数据的相似度
将文本转换为向量后,下一步需要计算向量之间的相似度。常用的两种相似度计算方法如下:
1. 余弦相似度
余弦相似度是判断两个向量"方向相似程度"的数字指标。想象二维空间中有两根箭头:若一根指向东,另一根指向东南,它们的方向较接近;若一根指向东,另一根指向西,方向则差异较大。余弦相似度通过数学方法计算两根箭头夹角的大小------夹角越小,值越接近1(越相似);夹角越大,值越接近0(差异越大)。
我们可以通过一组二维向量具体解释:
如图所示,二维向量可用平面坐标系中的点表示。图中有四个二维向量,分别为:A(1,2)、B(2,4)、C(2,2)、D(6,1)。
向量A与B方向相同,余弦相似度为1(完全相似);
向量A与D夹角β最大,方向偏差最大,余弦相似度最低;
向量A与C夹角α较小,余弦相似度较高。
余弦相似度特别适合比较两段文本的含义。例如句子"我喜欢吃苹果"与"我爱吃苹果"的余弦相似度很高;而与"我不喜欢吃苹果"虽一字之差,余弦相似度却较低。
可通过Python代码编写程序验证:
from sentence_transformers import SentenceTransformer #引入SentenceTransformer库
from sklearn.metrics.pairwise import cosine_similarity #引入余弦相识度计算库
# 1. 加载预训练模型
model = SentenceTransformer('./all-MiniLM-L6-v2') # 支持多语言的小型模型
# 2. 待比较文本
sentence1 = "我喜欢吃苹果"
sentence2 = "我爱吃苹果"
sentence3 = "我不喜欢吃苹果"
# 3. 将文本转换为向量
embeddings1 = model.encode(sentence1)
embeddings2 = model.encode(sentence2)
embeddings3 = model.encode(sentence3)
# 4. 计算余弦相似度
# 计算第一句和第二句的余弦相似度
similarity_1_2 = cosine_similarity([embeddings1], [embeddings2])[0][0]
# 计算第一句和第三句的余弦相似度
similarity_1_3 = cosine_similarity([embeddings1], [embeddings3])[0][0]
# 5. 打印结果
print(f"「{sentence1}」和「{sentence2}」的相似度: {similarity_1_2:.4f}")
print(f"「{sentence1}」和「{sentence3}」的相似度: {similarity_1_3:.4f}")
打印结果
「我喜欢吃苹果」和「我爱吃苹果」的相似度: 0.9966
「我喜欢吃苹果」和「我不喜欢吃苹果」的相似度: 0.8603
2. 欧氏距离相似度
另一种向量相似度比较方法是欧氏距离。在二维空间中,欧氏距离可理解为两个点之间的直线距离。如图所示:
点C与A的距离最短,因此二者最相似;
点D与A的距离最长,因此相似度最低。
还以句子"我喜欢吃苹果"对比 "我爱吃苹果"、"我不喜欢吃苹果"这两句话。以下代码是欧氏距离相似度比较示例和结果
from sentence_transformers import SentenceTransformer #引入SentenceTransformer库
import numpy as np #引入算术库
# 1. 加载预训练模型
model = SentenceTransformer('./all-MiniLM-L6-v2') # 支持多语言的小型模型
# 2. 待比较文本
sentence1 = "我喜欢吃苹果"
sentence2 = "我爱吃苹果"
sentence3 = "我不喜欢吃苹果"
# 3. 将文本转换为向量
embeddings1 = model.encode(sentence1)
embeddings2 = model.encode(sentence2)
embeddings3 = model.encode(sentence3)
# 4. 计算欧氏距离相似度
def euclidean_similarity(vec1, vec2):
"""计算欧氏距离相似度:距离越小越相似,转换为0-1范围"""
distance = np.linalg.norm(vec1 - vec2) # 计算欧氏距离
similarity = 1 / (1 + distance) # 将距离转换为相似度(0-1范围)
return similarity
# 比较第一句和第二句
similarity_1_2 = euclidean_similarity(embeddings1, embeddings2)
# 比较第一句和第三句
similarity_1_3 = euclidean_similarity(embeddings1, embeddings3)
# 5. 打印结果
print(f"「{sentence1}」和「{sentence2}」的欧氏距离相似度: {similarity_1_2:.4f}")
print(f"「{sentence1}」和「{sentence3}」的欧氏距离相似度: {similarity_1_3:.4f}")
打印结果
「我喜欢吃苹果」和「我爱吃苹果」的欧氏距离相似度: 0.9239
「我喜欢吃苹果」和「我不喜欢吃苹果」的欧氏距离相似度: 0.6542