文本摘要简介

文本摘要是从一段长文本中提取出最重要的信息,并生成一个简短而有意义的摘要。这个过程可以分为两种主要方法:
抽取式摘要(Extractive Summarization):从原文中直接提取出关键句子或段落,组成摘要。这种方法不会改变原文的内容,只是选择了最能代表文章主题的部分。

  • 无监督:Lead,Centroid,Cluster,TextRank
  • 有监督:R2N2,NeuralSum,SummaRuNNer,BertSum
    生成式摘要(Abstractive Summarization):这种方法通过理解原文内容,然后用自己的语言生成一个简短的总结。生成式摘要可能包含与原文不同的词语或句子结构,但它依然能够传达原文的核心信息。

Seq2seq经典架构:优点------不限于原文自由生成摘要、摘要展示了文本的关键信息;缺点------容易产生重复

PGN(Pointer-Generator Network)架构:使用生成概率进行取舍,要么从词汇表生成一个单词,要么从原文本复制一个单词,相对减少了摘要重复问题

评估方法:

  • BLEU(Bilingual evaluation understudy):主要计算精确度
  • ROUGE(Recall-Oriented Understudy for Gisting Evaluation:基于召回率,评价标准------ROUGE-N和ROUGE-L
相关推荐
结冰架构2 分钟前
人工智能大语言模型与AI芯片新进展:技术演进与商业化路径
人工智能·ai·语言模型·自然语言处理·技术
晨曦5432103 分钟前
Numpy数组与矩阵——python学习
python·矩阵·numpy
梓羽玩Python6 分钟前
7.8K 标星!这个Python神器把MCP服务器变成「搭积木」一样简单!
python·github
a小胡哦26 分钟前
TensorFlow深度学习框架:从入门到精通的完整指南
pytorch·python·github·tensorflow
这里有鱼汤28 分钟前
出大事了!0.1 + 0.2 居然不等于 0.3,Python我再也不敢用了…
后端·python
这里有鱼汤42 分钟前
我用Python做了个“灵犀剪贴”:可以自动记录复制的文本,然后保存到本地
后端·python
Dxy12393102161 小时前
Python对字典列表按某个字段排序
开发语言·python
CF14年老兵1 小时前
别被忽悠!从入门到年薪百万 AI 工程师的真实成长路径
python·aigc·openai
半青年3 小时前
单例模式:全局唯一性在软件设计中的艺术实践
java·c++·python·单例模式
鸿蒙布道师3 小时前
百度Create大会深度解读:AI Agent与多模态模型如何重塑未来?
人工智能·深度学习·神经网络·机器学习·百度·自然语言处理·dubbo