文本摘要简介

文本摘要是从一段长文本中提取出最重要的信息,并生成一个简短而有意义的摘要。这个过程可以分为两种主要方法:
抽取式摘要(Extractive Summarization):从原文中直接提取出关键句子或段落,组成摘要。这种方法不会改变原文的内容,只是选择了最能代表文章主题的部分。

  • 无监督:Lead,Centroid,Cluster,TextRank
  • 有监督:R2N2,NeuralSum,SummaRuNNer,BertSum
    生成式摘要(Abstractive Summarization):这种方法通过理解原文内容,然后用自己的语言生成一个简短的总结。生成式摘要可能包含与原文不同的词语或句子结构,但它依然能够传达原文的核心信息。

Seq2seq经典架构:优点------不限于原文自由生成摘要、摘要展示了文本的关键信息;缺点------容易产生重复

PGN(Pointer-Generator Network)架构:使用生成概率进行取舍,要么从词汇表生成一个单词,要么从原文本复制一个单词,相对减少了摘要重复问题

评估方法:

  • BLEU(Bilingual evaluation understudy):主要计算精确度
  • ROUGE(Recall-Oriented Understudy for Gisting Evaluation:基于召回率,评价标准------ROUGE-N和ROUGE-L
相关推荐
汲海33 分钟前
Jupyter 505
ide·python·jupyter
独好紫罗兰39 分钟前
洛谷题单3-P4956 [COCI 2017 2018 #6] Davor-python-流程图重构
开发语言·python·算法
肥猪猪爸1 小时前
浅析RAG技术:大语言模型的知识增强之道
人工智能·语言模型·自然语言处理·langchain·大模型·ollama·deepseek
失去妙妙屋的米奇1 小时前
Python与图像处理
图像处理·python·计算机视觉
yuanpan2 小时前
如何将python项目打包成Windows环境的exe应用提供给客户使用
开发语言·windows·python
程序员一诺2 小时前
【爬虫开发】爬虫开发从0到1全知识教程第14篇:scrapy爬虫框架,介绍【附代码文档】
后端·爬虫·python·数据
njsgcs2 小时前
python getattr调用当前文件引用的模块内的方法,实例
开发语言·python
独好紫罗兰2 小时前
洛谷题单3-P2669 [NOIP 2015 普及组] 金币-python-流程图重构
开发语言·python·算法
跳跳糖炒酸奶2 小时前
第四章、Isaacsim在GUI中构建机器人(3):添加摄像头和传感器
人工智能·python·算法·ubuntu·机器人
凯强同学2 小时前
第十四届蓝桥杯大赛软件赛省赛Python 研究生组:4.互质数的个数
python·职场和发展·蓝桥杯