机器学习:自然语言处理之关键词提取(TF-IDF)

目录

前言

一、TF-IDF

1.TF

2.IDF

3.TF-IDF计算法则

4.TF-IDF的本质

二、代码实现

1.导入库

2.读取文本数据

[3. 初始化TfidfVectorizer并转换文本数据](#3. 初始化TfidfVectorizer并转换文本数据)

[4. 获取词汇表并创建 DataFrame](#4. 获取词汇表并创建 DataFrame)

5.处理每篇文章的特征

总结


前言

TF-IDF(Term Frequency-Inverse Document Frequency)是一种用于文本挖掘的统计方法,用于评估一个词语在一篇文档中的重要性。

一、TF-IDF

1.TF

表示某个词在文档中出现的频率。计算方法是词频(该词在文档中出现的次数)除以文档总词数。

计算方式:

举个栗子:

2.IDF

衡量词语在整个语料库中的重要性。计算方法是文档总数除以包含该词的文档数,然后取对数。

计算方式:

3.TF-IDF计算法则

4.TF-IDF的本质

TF-IDF 通过将这两者相乘来赋予词语权重。它可以帮助识别在文档中频繁出现但在整个语料库中较少出现的关键词,从而提高文本分析的效果。

举个栗子:

根据TF-IDF的值可以判断,蜜蜂在这三个词里占该文章的权重最高,意味着更加关键

二、代码实现

  • 使用文本:

1.导入库

  • 导入sklearn里的TfidfVectorizer类,该类是一种用于文本特征提取的工具
  • 导入盘pandas库用于处理数据
python 复制代码
from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd

2.读取文本数据

  • 打开指定的文本文件。
  • 读取文件的每一行,并将其存储为列表 text
python 复制代码
infile = open(r"task2_1.txt", "r")  # 打开文件
text = infile.readlines()  # 读取所有行 以列表形式存储

3. 初始化TfidfVectorizer并转换文本数据

  • 创建一个 TfidfVectorizer 对象。
  • 使用 fit_transform 方法将文本数据转换为 TF-IDF 特征矩阵,并打印矩阵。
python 复制代码
vectorizer = TfidfVectorizer()
tfdif = vectorizer.fit_transform(text)
print(tfdif)

4. 获取词汇表并创建 DataFrame

  • 获取 TF-IDF 特征矩阵中的词汇表 wordlist 。
  • 将 TF-IDF 特征矩阵转换为 DataFrame,并以词汇表作为行索引。
python 复制代码
wordlist = vectorizer.get_feature_names()  # 获取文章中所有的词
print(wordlist)
df = pd.DataFrame(tfdif.T.todense(), index=wordlist)

5.处理每篇文章的特征

  • 对每篇文章(列)提取特征,将其转换为列表。
  • 将每篇文章的特征(词汇和对应的 TF-IDF 值)存储在字典 resdict 中。
  • 将字典按 TF-IDF 值降序排序,并打印每篇文章中 TF-IDF 值最高的前十个词汇。
python 复制代码
a = df.iloc[:, 1]  # 提取第二篇文章的特征(仅作为示例)

for j in range(0, len(text)):
    featurelist = df.iloc[:, j].to_list()  # 将每一列的内容转换成列表
    resdict = {}
    for i in range(0, len(wordlist)):
        resdict[wordlist[i]] = featurelist[i] 
         # 将wordlist中的第 i 个词汇作为键,featurelist 中的第 i 个值作为对应的值,添加到 resdict 中
    resdict = sorted(resdict.items(), key=lambda x: x[1], reverse=True)  
    # 先生成键值对 再按键值对元组中的第二个元素进行排序  降序排序

    print(f"第{j + 1}篇文章:", resdict[:10])  # 输出频数最高的十个词

总结

TF-IDF的本质就是给文本中的词赋予权重,大多时候权重高的即可当做文章的关键词

相关推荐
AI小云2 天前
【机器学习与实战】回归分析与预测:线性回归-03-损失函数与梯度下降
机器学习
L.fountain2 天前
机器学习shap分析案例
人工智能·机器学习
weixin_429630262 天前
机器学习-第一章
人工智能·机器学习
Cedric11132 天前
机器学习中的距离总结
人工智能·机器学习
第七序章2 天前
【C++STL】list的详细用法和底层实现
c语言·c++·自然语言处理·list
寒月霜华2 天前
机器学习-数据标注
人工智能·机器学习
Godspeed Zhao2 天前
自动驾驶中的传感器技术46——Radar(7)
人工智能·机器学习·自动驾驶
limengshi1383922 天前
机器学习面试:请介绍几种常用的学习率衰减方式
人工智能·学习·机器学习
大千AI助手2 天前
TruthfulQA:衡量语言模型真实性的基准
人工智能·语言模型·自然语言处理·llm·模型评估·truthfulqa·事实性基准
救救孩子把2 天前
2-机器学习与大模型开发数学教程-第0章 预备知识-0-2 数列与级数(收敛性、幂级数)
人工智能·数学·机器学习