自然语言处理-文本对分类或回归

我们研究了自然语言推断。它属于文本对分类,这是一种对文本进行分类的应用类型。

以一对文本作为输入但输出连续值,语义文本相似度是一个流行的"文本对回归"任务。 这项任务评估句子的语义相似度。例如,在语义文本相似度基准数据集(Semantic Textual Similarity Benchmark)中,句子对的相似度得分是从0(无语义重叠)到5(语义等价)的分数区间。我们的目标是预测这些分数。来自语义文本相似性基准数据集的样本包括(句子1,句子2,相似性得分):

  • "A plane is taking off."("一架飞机正在起飞。"),"An air plane is taking off."("一架飞机正在起飞。"),5.000分;

  • "A woman is eating something."("一个女人在吃东西。"),"A woman is eating meat."("一个女人在吃肉。"),3.000分;

  • "A woman is dancing."(一个女人在跳舞。),"A man is talking."("一个人在说话。"),0.000分。

文本对分类或回归应用的BERT微调,如自然语言推断和语义文本相似性(假设输入文本对分别有两个词元和三个词元)

与单文本分类相比,上图中的文本对分类的BERT微调在输入表示上有所不同。对于文本对回归任务(如语义文本相似性),可以应用细微的更改,例如输出连续的标签值和使用均方损失:它们在回归中很常见。

相关推荐
白熊1882 分钟前
【计算机视觉】CV项目实战- 深度解析TorchVision_Maskrcnn:基于PyTorch的实例分割实战指南
人工智能·pytorch·计算机视觉
安科瑞-小李7 分钟前
管理+技术”双轮驱动工业企业能源绿色转型
大数据·人工智能
AI假装科研13 分钟前
即插即用模块(3) -LSK 特征提取
人工智能·深度学习·计算机视觉
愚昧之山绝望之谷开悟之坡18 分钟前
什么是视频上墙
人工智能·笔记
pljnb26 分钟前
SVM(支持向量机)
人工智能·机器学习·支持向量机
掘金詹姆斯27 分钟前
LangChain4j—持久化聊天记忆 Persistence(五)
java·人工智能
梓羽玩Python38 分钟前
开源AI代理爆火!Suna:3天内新增5.5K+标星,自然对话驱动的自动化神器!
人工智能·python·github
新智元43 分钟前
70% 大小,100% 准确!完美压缩 LLM 性能 0 损失,推理速度最高飙升 39 倍
人工智能·openai
Ann1 小时前
RAG:让AI回答更“靠谱”
人工智能·llm
新智元1 小时前
GPT-4.5 功臣遭驱逐!奥特曼盛赞工作出色,美国深陷 AI 人才危机
人工智能·openai