TfidfVectorizer

TF-IDF / Term Frequency - Inverse Document Frequency

作用 :是自然语言处理NLP中常用的文本特征提取工具,用于将文本数据转换为数据向量。
核心思想:是通过统计词频和逆文档频率来量化词语在文本中的重要性。

  • T F − I D F ( t , d ) = T F ( t , d ) ∗ I D F ( t ) TF-IDF_{(t,d)} = TF_{(t,d)} * IDF_{(t)} TF−IDF(t,d)=TF(t,d)∗IDF(t)

  • 意义:

    -- 高频词(TF高)但罕见(IDF高)的词语会获得高权重(e.g.专业术语);

    -- 高频但常见的词语(如"的"、"是")会被抑制。

  • 子公式1/2

    -- T F ( t , d ) = 词 t 在文档 d 中出现次数 文档 d 的总词语 TF_{(t,d)} = \dfrac{词t在文档d中出现次数}{文档d的总词语} TF(t,d)=文档d的总词语词t在文档d中出现次数

  • 子公式2/2

    -- I D F ( t ) = 总文档数 包含词 t 的文档数 + 1 + 1 IDF_{(t)} = \dfrac{总文档数}{包含词t的文档数+1}+1 IDF(t)=包含词t的文档数+1总文档数+1

相关推荐
电棍2332 分钟前
工程实践心得记录-pytorch要安装在哪里
人工智能·pytorch·python
星期天要睡觉2 分钟前
深度学习——基于 PyTorch 的蔬菜图像分类
人工智能·pytorch·python·深度学习·分类
蒋星熠16 分钟前
Python爬虫抓取豆瓣TOP250数据
人工智能·爬虫·python·网络爬虫·爬山算法
scala舔狗汪44 分钟前
python的表白浪漫
python
墨尘笔尖1 小时前
使用子进程实现 C++ 与 Python 交互式控制台
c++·windows·python
码界筑梦坊1 小时前
74-基于Python的蜜雪冰城门店数据可视化分析系统
python·数据分析·flask·毕业设计
风亦辰7391 小时前
从 Hello World 到游戏世界——pygame 快速入门
python·游戏·pygame
从后端到QT2 小时前
大语言模型本地部署之转录文本总结
人工智能·语言模型·自然语言处理
程序员爱钓鱼3 小时前
Python编程实战 · 基础入门篇 | 类型转换与输入输出
后端·python
程序员爱钓鱼3 小时前
Python编程实战 · 基础入门篇 | 运算符详解
后端·python·编程语言