文本摘要简介

文本摘要是从一段长文本中提取出最重要的信息,并生成一个简短而有意义的摘要。这个过程可以分为两种主要方法:
抽取式摘要(Extractive Summarization):从原文中直接提取出关键句子或段落,组成摘要。这种方法不会改变原文的内容,只是选择了最能代表文章主题的部分。

  • 无监督:Lead,Centroid,Cluster,TextRank
  • 有监督:R2N2,NeuralSum,SummaRuNNer,BertSum
    生成式摘要(Abstractive Summarization):这种方法通过理解原文内容,然后用自己的语言生成一个简短的总结。生成式摘要可能包含与原文不同的词语或句子结构,但它依然能够传达原文的核心信息。

Seq2seq经典架构:优点------不限于原文自由生成摘要、摘要展示了文本的关键信息;缺点------容易产生重复

PGN(Pointer-Generator Network)架构:使用生成概率进行取舍,要么从词汇表生成一个单词,要么从原文本复制一个单词,相对减少了摘要重复问题

评估方法:

  • BLEU(Bilingual evaluation understudy):主要计算精确度
  • ROUGE(Recall-Oriented Understudy for Gisting Evaluation:基于召回率,评价标准------ROUGE-N和ROUGE-L
相关推荐
weixin_3077791344 分钟前
AWS Lambda解压缩S3 ZIP文件流程
python·算法·云计算·aws
独行soc8 小时前
2025年渗透测试面试题总结-18(题目+回答)
android·python·科技·面试·职场和发展·渗透测试
亚里随笔9 小时前
稳定且高效:GSPO如何革新大型语言模型的强化学习训练?
人工智能·机器学习·语言模型·自然语言处理·llm·rlhf
S01d13r9 小时前
gunicorn + flask 处理高并发请求
python·flask·gunicorn
杜子不疼.9 小时前
《Python列表和元组:从入门到花式操作指南》
开发语言·python
pan0c239 小时前
数据处理与统计分析 —— numpy入门
python·numpy
max5006009 小时前
基于桥梁三维模型的无人机检测路径规划系统设计与实现
前端·javascript·python·算法·无人机·easyui
秋氘渔10 小时前
综合案例:Python 函数知识整合 — 学生成绩管理系统
开发语言·python
AI 嗯啦11 小时前
SQL详细语法教程(三)mysql的函数知识
android·开发语言·数据库·python·sql·mysql
databook11 小时前
把数学对象画出来:Manim Mobject类库速查手册
python·数学·动效