TfidfVectorizer

TF-IDF / Term Frequency - Inverse Document Frequency

作用 :是自然语言处理NLP中常用的文本特征提取工具,用于将文本数据转换为数据向量。
核心思想:是通过统计词频和逆文档频率来量化词语在文本中的重要性。

  • T F − I D F ( t , d ) = T F ( t , d ) ∗ I D F ( t ) TF-IDF_{(t,d)} = TF_{(t,d)} * IDF_{(t)} TF−IDF(t,d)=TF(t,d)∗IDF(t)

  • 意义:

    -- 高频词(TF高)但罕见(IDF高)的词语会获得高权重(e.g.专业术语);

    -- 高频但常见的词语(如"的"、"是")会被抑制。

  • 子公式1/2

    -- T F ( t , d ) = 词 t 在文档 d 中出现次数 文档 d 的总词语 TF_{(t,d)} = \dfrac{词t在文档d中出现次数}{文档d的总词语} TF(t,d)=文档d的总词语词t在文档d中出现次数

  • 子公式2/2

    -- I D F ( t ) = 总文档数 包含词 t 的文档数 + 1 + 1 IDF_{(t)} = \dfrac{总文档数}{包含词t的文档数+1}+1 IDF(t)=包含词t的文档数+1总文档数+1

相关推荐
那雨倾城10 分钟前
PiscCode使用OpenCV实现漂浮方块特效
python·opencv
awonw10 分钟前
[python][flask]Flask-Principal 使用详解
开发语言·python·flask
赵英英俊2 小时前
Python day26
开发语言·python
你怎么知道我是队长2 小时前
python---eval函数
开发语言·javascript·python
Rockson2 小时前
期货实时行情接口接入教程
python·api
awonw3 小时前
[python][基础]Flask 技术栈
开发语言·python·flask
bright_colo4 小时前
Python-初学openCV——图像预处理(四)——滤波器
python·opencv·计算机视觉
Nandeska4 小时前
一、Python环境、Jupyter与Pycharm
python·jupyter·pycharm
No0d1es5 小时前
CPA青少年编程能力等级测评试卷及答案 Python编程(三级)
python·青少年编程·cpa