TfidfVectorizer

TF-IDF / Term Frequency - Inverse Document Frequency

作用 :是自然语言处理NLP中常用的文本特征提取工具,用于将文本数据转换为数据向量。
核心思想:是通过统计词频和逆文档频率来量化词语在文本中的重要性。

  • T F − I D F ( t , d ) = T F ( t , d ) ∗ I D F ( t ) TF-IDF_{(t,d)} = TF_{(t,d)} * IDF_{(t)} TF−IDF(t,d)=TF(t,d)∗IDF(t)

  • 意义:

    -- 高频词(TF高)但罕见(IDF高)的词语会获得高权重(e.g.专业术语);

    -- 高频但常见的词语(如"的"、"是")会被抑制。

  • 子公式1/2

    -- T F ( t , d ) = 词 t 在文档 d 中出现次数 文档 d 的总词语 TF_{(t,d)} = \dfrac{词t在文档d中出现次数}{文档d的总词语} TF(t,d)=文档d的总词语词t在文档d中出现次数

  • 子公式2/2

    -- I D F ( t ) = 总文档数 包含词 t 的文档数 + 1 + 1 IDF_{(t)} = \dfrac{总文档数}{包含词t的文档数+1}+1 IDF(t)=包含词t的文档数+1总文档数+1

相关推荐
烛阴4 小时前
简单入门Python装饰器
前端·python
好开心啊没烦恼4 小时前
Python 数据分析:numpy,说人话,说说数组维度。听故事学知识点怎么这么容易?
开发语言·人工智能·python·数据挖掘·数据分析·numpy
面朝大海,春不暖,花不开4 小时前
使用 Python 实现 ETL 流程:从文本文件提取到数据处理的全面指南
python·etl·原型模式
2301_805054565 小时前
Python训练营打卡Day59(2025.7.3)
开发语言·python
**梯度已爆炸**5 小时前
NLP文本预处理
人工智能·深度学习·nlp
uncle_ll5 小时前
李宏毅NLP-8-语音模型
人工智能·自然语言处理·语音识别·语音模型·lm
Liudef065 小时前
FLUX.1-Kontext 高效训练 LoRA:释放大语言模型定制化潜能的完整指南
人工智能·语言模型·自然语言处理·ai作画·aigc
万千思绪6 小时前
【PyCharm 2025.1.2配置debug】
ide·python·pycharm
微风粼粼7 小时前
程序员在线接单
java·jvm·后端·python·eclipse·tomcat·dubbo
云天徽上7 小时前
【PaddleOCR】OCR表格识别数据集介绍,包含PubTabNet、好未来表格识别、WTW中文场景表格等数据,持续更新中......
python·ocr·文字识别·表格识别·paddleocr·pp-ocrv5