Bert Score-文本相似性评估

Bert Score

Bert Score 是基于BERT模型的一种方法。它通过计算两个句子在BERT模型中的嵌入编码之间的余弦相似度来评估它们的相似度。BERTScore考虑了上下文信息和语义信息,因此能够更准确地衡量句子之间的相似度。

安装

pip install bert-score

使用例子

  • 一个句子和一个句子的比较

    cand=["I have an apple."]
    ref=["I have a pen."]
    P, R, F1 = bert_score.score(cand,ref, lang="en",
    verbose=True,
    model_type='bert-large-uncased')
    #tensor([0.8176]) tensor([0.8176]) tensor([0.8176])

  • 一个句子和多个句子的比较

    cand=["I have an apple."]
    ref=[["I have a pen.","I have a doll"]]
    P, R, F1 = bert_score.score(cand,ref, lang="en", verbose=True,
    model_type='bert-large-uncased')
    #tensor([0.8176]) tensor([0.8176]) tensor([0.8176])

  • 多个句子和多个句子之间的比较

    cand=["I have an apple.","I am Lucky."]
    ref=["I have a pen.","I am Lucy."]
    P, R, F1 = bert_score.score(cand,ref, lang="en", verbose=True,
    model_type='bert-large-uncased')
    #tensor([0.8176, 0.6489]) tensor([0.8176, 0.6489]) tensor([0.8176, 0.6489])

  • 这里的model_type用于指定模型,可以点击仓库查看

  • 这里的返回值在0-1之间,越接近1说明越相似

相关推荐
睿创咨询1 分钟前
科技与商业动态简报
人工智能·科技·ipd·商业
科技在线2 分钟前
科技赋能建筑新未来:中建海龙模块化建筑产品入选中国建筑首批产业化推广产品
大数据·人工智能
极小狐14 分钟前
极狐GitLab 如何 cherry-pick 变更?
人工智能·git·机器学习·gitlab
沛沛老爹18 分钟前
从线性到非线性:简单聊聊神经网络的常见三大激活函数
人工智能·深度学习·神经网络·激活函数·relu·sigmoid·tanh
0x21127 分钟前
[论文阅读]ReAct: Synergizing Reasoning and Acting in Language Models
人工智能·语言模型·自然语言处理
mucheni39 分钟前
迅为iTOP-RK3576开发板/核心板6TOPS超强算力NPU适用于ARM PC、边缘计算、个人移动互联网设备及其他多媒体产品
arm开发·人工智能·边缘计算
Jamence40 分钟前
多模态大语言模型arxiv论文略读(三十六)
人工智能·语言模型·自然语言处理
www_pp_42 分钟前
# 构建词汇表:自然语言处理中的关键步骤
前端·javascript·自然语言处理·easyui
猿饵块1 小时前
opencv--图像变换
人工智能·opencv·计算机视觉
LucianaiB1 小时前
【金仓数据库征文】_AI 赋能数据库运维:金仓KES的智能化未来
运维·数据库·人工智能·金仓数据库 2025 征文·数据库平替用金仓