NLP--关键词

在去停用词后的文本中进行词频统计和关键词统计以及词云图显示,来进行文本的关键词提取,让人一目了然。

1.词频统计

统计文本中多次出现的词语,来寻找文章中的关键词,因为多次出现很可能就是关键内容。调用统计数量的Counter库和用来分词的jieba库。观察出现次数最多的十个词中,两个字以上的词语都有哪些?他们出现的次数分别是多少?

2.关键词统计:有TF-IDF算法和textrank算法。

TF-IDF是评估一个词语对于一篇文档或一个语料库中的一篇文档的重要程度。词语的重要性与它在文档中出现的次数成正比,但与它在语料库中出现的频率成反比。调用jieba库,使用jieba.analyse函数的jieba.analyse.extract_tags进行关键词提取。

textrank是一种基于图的排序算法,用于关键词的提取和文档摘要。该算法是从谷歌的网页重要性排序算法pagerank改进来的。调用jieba库,使用jieba.analyse函数的jieba.analyse.textrank进行关键词提取。

3.词云

词云通过文本预处理,词频统计,将高频词以图片形式进行色彩渲染三个步骤。词云生成需要调用matplotlib库进行词云绘制,jieba库进行分词和关键词提取,词云生成器wordcloud,对该生成器需要进行相关配置就可以生成相应的词云。其中,需要根据不同的环境设置相应的字体。

相关推荐
泡泡鱼(敲代码中)1 小时前
Python语法技术学习笔记
开发语言·笔记·python·学习·pycharm
月疯2 小时前
bert的架构解析
人工智能·深度学习·bert
Yanjun2i2 小时前
Agent学习记录三:完成 Agent Loop
python·学习·agent
差不多的周周2 小时前
《MotionLLM:从人体运动和视频理解人类行为》论文核心部分详解
人工智能·深度学习·机器学习·计算机视觉·语言模型·音视频
2601_962387822 小时前
实测恐象 AI:号称一句话生成全栈应用,实际能力到底几斤几两
自然语言处理·源码下载·恐象ai·全栈生成·轻量级开发
纪伊路上盛名在3 小时前
Omni-Mol:用多模态大语言模型构建通用多任务分子模型
人工智能·语言模型·自然语言处理·蛋白质·通用模型·生物大分子·混合专家moe
硅谷秋水3 小时前
超越模仿:通过离线策略Q-规划实现机器人策略的自我改进
人工智能·深度学习·机器学习·机器人
千里码aicood3 小时前
超声测距仪标定软件的设计与实现
深度学习
面朝大海,春不暖,花不开3 小时前
翻译自 英语
人工智能·机器学习
一条破秋裤4 小时前
STM32 单片机两层学习规划
stm32·单片机·学习