文本摘要简介

文本摘要是从一段长文本中提取出最重要的信息,并生成一个简短而有意义的摘要。这个过程可以分为两种主要方法:
抽取式摘要(Extractive Summarization):从原文中直接提取出关键句子或段落,组成摘要。这种方法不会改变原文的内容,只是选择了最能代表文章主题的部分。

  • 无监督:Lead,Centroid,Cluster,TextRank
  • 有监督:R2N2,NeuralSum,SummaRuNNer,BertSum
    生成式摘要(Abstractive Summarization):这种方法通过理解原文内容,然后用自己的语言生成一个简短的总结。生成式摘要可能包含与原文不同的词语或句子结构,但它依然能够传达原文的核心信息。

Seq2seq经典架构:优点------不限于原文自由生成摘要、摘要展示了文本的关键信息;缺点------容易产生重复

PGN(Pointer-Generator Network)架构:使用生成概率进行取舍,要么从词汇表生成一个单词,要么从原文本复制一个单词,相对减少了摘要重复问题

评估方法:

  • BLEU(Bilingual evaluation understudy):主要计算精确度
  • ROUGE(Recall-Oriented Understudy for Gisting Evaluation:基于召回率,评价标准------ROUGE-N和ROUGE-L
相关推荐
leaf_leaves_leaf15 分钟前
win11用一条命令给anaconda环境安装GPU版本pytorch,并检查是否为GPU版本
人工智能·pytorch·python
夜雨飘零120 分钟前
基于Pytorch实现的说话人日志(说话人分离)
人工智能·pytorch·python·声纹识别·说话人分离·说话人日志
404NooFound27 分钟前
Python轻量级NoSQL数据库TinyDB
开发语言·python·nosql
天天要nx39 分钟前
D102【python 接口自动化学习】- pytest进阶之fixture用法
python·pytest
minstbe40 分钟前
AI开发:使用支持向量机(SVM)进行文本情感分析训练 - Python
人工智能·python·支持向量机
落魄实习生1 小时前
AI应用-本地模型实现AI生成PPT(简易版)
python·ai·vue·ppt
苏言の狗1 小时前
Pytorch中关于Tensor的操作
人工智能·pytorch·python·深度学习·机器学习
用余生去守护1 小时前
python报错系列(16)--pyinstaller ????????
开发语言·python
数据小爬虫@1 小时前
利用Python爬虫快速获取商品历史价格信息
开发语言·爬虫·python
是Dream呀2 小时前
Python从0到100(七十八):神经网络--从0开始搭建全连接网络和CNN网络
网络·python·神经网络