TfidfVectorizer

TF-IDF / Term Frequency - Inverse Document Frequency

作用 :是自然语言处理NLP中常用的文本特征提取工具,用于将文本数据转换为数据向量。
核心思想:是通过统计词频和逆文档频率来量化词语在文本中的重要性。

  • T F − I D F ( t , d ) = T F ( t , d ) ∗ I D F ( t ) TF-IDF_{(t,d)} = TF_{(t,d)} * IDF_{(t)} TF−IDF(t,d)=TF(t,d)∗IDF(t)

  • 意义:

    -- 高频词(TF高)但罕见(IDF高)的词语会获得高权重(e.g.专业术语);

    -- 高频但常见的词语(如"的"、"是")会被抑制。

  • 子公式1/2

    -- T F ( t , d ) = 词 t 在文档 d 中出现次数 文档 d 的总词语 TF_{(t,d)} = \dfrac{词t在文档d中出现次数}{文档d的总词语} TF(t,d)=文档d的总词语词t在文档d中出现次数

  • 子公式2/2

    -- I D F ( t ) = 总文档数 包含词 t 的文档数 + 1 + 1 IDF_{(t)} = \dfrac{总文档数}{包含词t的文档数+1}+1 IDF(t)=包含词t的文档数+1总文档数+1

相关推荐
小蕾Java2 分钟前
PyCharm保姆级详细使用手册(Python新手快速上手篇)
ide·python·pycharm
阿星_2 分钟前
PyCharm项目依赖库的备份与还原方法
linux·服务器·python
youcans_7 分钟前
【Trae】Trae 插件实战手册(1)PyCharm 安装 Trae
人工智能·python·pycharm·ai编程·trae
xuegao08078 分钟前
WSL安装并配置到pyCharm
ide·python·pycharm
理智的煎蛋17 分钟前
基于 Celery 的分布式文件监控系统
redis·分布式·python·mysql·mongodb
MoRanzhi12031 小时前
0. NumPy 系列教程:科学计算与数据分析实战
人工智能·python·机器学习·数据挖掘·数据分析·numpy·概率论
woshihonghonga1 小时前
【Ubuntu 20.04升级python3.9后终端打不开的bug】
linux·开发语言·python
Gloria_niki1 小时前
基于 PyTorch 的 CIFAR-10 图像分类学习总结
python
A尘埃1 小时前
线性代数(标量与向量+矩阵与张量+矩阵求导)
python·线性代数·矩阵
数据牧羊人的成长笔记1 小时前
python爬虫进阶版练习(只说重点,selenium)
开发语言·chrome·python