自然语言处理-文本对分类或回归

我们研究了自然语言推断。它属于文本对分类,这是一种对文本进行分类的应用类型。

以一对文本作为输入但输出连续值,语义文本相似度是一个流行的"文本对回归"任务。 这项任务评估句子的语义相似度。例如,在语义文本相似度基准数据集(Semantic Textual Similarity Benchmark)中,句子对的相似度得分是从0(无语义重叠)到5(语义等价)的分数区间。我们的目标是预测这些分数。来自语义文本相似性基准数据集的样本包括(句子1,句子2,相似性得分):

  • "A plane is taking off."("一架飞机正在起飞。"),"An air plane is taking off."("一架飞机正在起飞。"),5.000分;

  • "A woman is eating something."("一个女人在吃东西。"),"A woman is eating meat."("一个女人在吃肉。"),3.000分;

  • "A woman is dancing."(一个女人在跳舞。),"A man is talking."("一个人在说话。"),0.000分。

文本对分类或回归应用的BERT微调,如自然语言推断和语义文本相似性(假设输入文本对分别有两个词元和三个词元)

与单文本分类相比,上图中的文本对分类的BERT微调在输入表示上有所不同。对于文本对回归任务(如语义文本相似性),可以应用细微的更改,例如输出连续的标签值和使用均方损失:它们在回归中很常见。

相关推荐
8Qi827 分钟前
深度学习(鱼书)day08--误差反向传播(后三节)
人工智能·python·深度学习·神经网络
wow_DG36 分钟前
【PyTorch✨】01 初识PyTorch
人工智能·pytorch·python
海绵波波1071 小时前
解读LISA:通过大型语言模型实现推理分割
人工智能·语言模型·自然语言处理
昨日之日20061 小时前
FLUX.1 Kontext Dev V2版 - 消费级显卡(6G显存)畅玩的AI修图神器 支持批量 支持多图融合编辑 支持50系显卡 一键整合包下载
人工智能
海森大数据1 小时前
神经网络“开窍”时刻:从死记位置到理解意义的语言奇点
人工智能·深度学习·神经网络
贾全1 小时前
Transformer架构全解析:搭建AI的“神经网络大厦“
人工智能·神经网络·ai·语言模型·自然语言处理·架构·transformer
这是一只菜狗啊2 小时前
使用神经网络与5折交叉验证进行基因组预测:基础知识指南
人工智能·深度学习·神经网络
缘友一世2 小时前
Agents-SDK智能体开发[1]之入门
人工智能·agent·agents_sdk
行然梦实2 小时前
世代距离(GD)和反转世代距离(IGD)详析
人工智能·算法·机器学习·数学建模
code bean2 小时前
【Halcon 】Halcon 实战:如何为 XLD 模板添加极性信息以提升匹配精度?
人工智能·计算机视觉