-
TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)是一种用于信息检索和文本挖掘的统计方法,用来评估一个词在一组文档中的重要性。
-
TF-IDF的基本思想是,如果某个词在一篇文档中出现频率高,但在其他文档中很少出现,那么它可能具有很高的重要性
-
TF-IDF由两个主要部分组成:
TF-IDF(x) = TF(x)*IDF(x)- TF(词频)
- TF代表的是某个词在一篇文档中出现的频率。
- 这个频率可以通过计算词在文档中出现的次数与该文档中总词数的比例来得到。
- 词频衡量了某个词在特定文档中的重要性。
- w是某个单词
- d是特定文档
- count(w,d)------这个单词在这个文档中出现的次数
- size(d)------这个文档的单词数量
- IDF(逆文档频率)
- IDF则衡量的是某个词在整个文档集中的普遍性
- IDF用来降低那些在很多文档中都出现过的常用词(如"的"、"是")的权重,使得独特而少见的词更为突出
- n------文档总数
- docs(w,D)------词w出现在文件集D的多少个文件中
- TF(词频)
NLP 笔记:TF-IDF
UQI-LIUWJ2024-05-06 6:05
相关推荐
江屿风6 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁吃我一窝jio10 小时前
Java Bug复盘与性能优化实战Rabitebla11 小时前
【Linux】文件篇(六):Shell 实战——从系统调用到命令行重定向Star(up up up)12 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解β添砖java1 天前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践琳少_1 天前
java程序开发笔记Z21-X1 天前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验一只大鸽子1 天前
游戏开发笔记7-Godot RPG游戏基础-场景切换、全局脚本吃我一窝jio1 天前
Docker+Jenkins+K8s全流程部署