Bert Score-文本相似性评估

Bert Score

Bert Score 是基于BERT模型的一种方法。它通过计算两个句子在BERT模型中的嵌入编码之间的余弦相似度来评估它们的相似度。BERTScore考虑了上下文信息和语义信息,因此能够更准确地衡量句子之间的相似度。

安装

pip install bert-score

使用例子

  • 一个句子和一个句子的比较

    cand=["I have an apple."]
    ref=["I have a pen."]
    P, R, F1 = bert_score.score(cand,ref, lang="en",
    verbose=True,
    model_type='bert-large-uncased')
    #tensor([0.8176]) tensor([0.8176]) tensor([0.8176])

  • 一个句子和多个句子的比较

    cand=["I have an apple."]
    ref=[["I have a pen.","I have a doll"]]
    P, R, F1 = bert_score.score(cand,ref, lang="en", verbose=True,
    model_type='bert-large-uncased')
    #tensor([0.8176]) tensor([0.8176]) tensor([0.8176])

  • 多个句子和多个句子之间的比较

    cand=["I have an apple.","I am Lucky."]
    ref=["I have a pen.","I am Lucy."]
    P, R, F1 = bert_score.score(cand,ref, lang="en", verbose=True,
    model_type='bert-large-uncased')
    #tensor([0.8176, 0.6489]) tensor([0.8176, 0.6489]) tensor([0.8176, 0.6489])

  • 这里的model_type用于指定模型,可以点击仓库查看

  • 这里的返回值在0-1之间,越接近1说明越相似

相关推荐
卧式纯绿3 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
巷95510 分钟前
OpenCV图像形态学:原理、操作与应用详解
人工智能·opencv·计算机视觉
深蓝易网39 分钟前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
xiangzhihong81 小时前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
狂奔solar1 小时前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
资源大全免费分享1 小时前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
跳跳糖炒酸奶2 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
AI.NET 极客圈2 小时前
AI与.NET技术实操系列(四):使用 Semantic Kernel 和 DeepSeek 构建AI应用
人工智能·.net
Debroon2 小时前
应华为 AI 医疗军团之战,各方动态和反应
人工智能·华为
俊哥V2 小时前
阿里通义千问发布全模态开源大模型Qwen2.5-Omni-7B
人工智能·ai