文本摘要简介

文本摘要是从一段长文本中提取出最重要的信息,并生成一个简短而有意义的摘要。这个过程可以分为两种主要方法:
抽取式摘要(Extractive Summarization):从原文中直接提取出关键句子或段落,组成摘要。这种方法不会改变原文的内容,只是选择了最能代表文章主题的部分。

  • 无监督:Lead,Centroid,Cluster,TextRank
  • 有监督:R2N2,NeuralSum,SummaRuNNer,BertSum
    生成式摘要(Abstractive Summarization):这种方法通过理解原文内容,然后用自己的语言生成一个简短的总结。生成式摘要可能包含与原文不同的词语或句子结构,但它依然能够传达原文的核心信息。

Seq2seq经典架构:优点------不限于原文自由生成摘要、摘要展示了文本的关键信息;缺点------容易产生重复

PGN(Pointer-Generator Network)架构:使用生成概率进行取舍,要么从词汇表生成一个单词,要么从原文本复制一个单词,相对减少了摘要重复问题

评估方法:

  • BLEU(Bilingual evaluation understudy):主要计算精确度
  • ROUGE(Recall-Oriented Understudy for Gisting Evaluation:基于召回率,评价标准------ROUGE-N和ROUGE-L
相关推荐
量化分析码农9 分钟前
【Python量化趋势跟踪实战 02】突破买入总被假突破坑:通道系统与入场时机
python
Agent世界14 分钟前
多平台登录态巡检:cookie 判据为什么会撒谎
python
量化分析码农1 小时前
【Python量化趋势跟踪实战 01】均线多头排列就是趋势开始吗:过滤与确认
python
用户298698530141 小时前
Python 实战:把代码写入 Word 文档的两种实现方式
后端·python·api
小小张说故事1 小时前
Python 里 pickle 到底存了什么:拆开 __reduce__、__getstate__ 和那串能执行代码的字节码
python
reasonsummer1 小时前
【教学类-150-03】20261108蝴蝶连连看html(一页2个版面、3个版面)
python·html
用户019027581612 小时前
用 Polars 快速分析 A 股 K 线:比 pandas 更快的列式处理
python
用户0332126663672 小时前
使用 Python 轻松加密或解密 Excel 文档
python·excel
CyrusYiVPP3 小时前
手写 MCP Server:给问答机器人接上本地文件工具,Python 实战第 13 期
人工智能·python
kaixin_啊啊3 小时前
【零基础学AI】第 28 章——大语言模型怎样训练出来
人工智能·语言模型·自然语言处理