-
TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)是一种用于信息检索和文本挖掘的统计方法,用来评估一个词在一组文档中的重要性。
-
TF-IDF的基本思想是,如果某个词在一篇文档中出现频率高,但在其他文档中很少出现,那么它可能具有很高的重要性
-
TF-IDF由两个主要部分组成:
TF-IDF(x) = TF(x)*IDF(x)
- TF(词频)
- TF代表的是某个词在一篇文档中出现的频率。
- 这个频率可以通过计算词在文档中出现的次数与该文档中总词数的比例来得到。
- 词频衡量了某个词在特定文档中的重要性。
-
- w是某个单词
- d是特定文档
- count(w,d)------这个单词在这个文档中出现的次数
- size(d)------这个文档的单词数量
- IDF(逆文档频率)
- IDF则衡量的是某个词在整个文档集中的普遍性
- IDF用来降低那些在很多文档中都出现过的常用词(如"的"、"是")的权重,使得独特而少见的词更为突出
-
- n------文档总数
- docs(w,D)------词w出现在文件集D的多少个文件中
- TF(词频)
NLP 笔记:TF-IDF
UQI-LIUWJ2024-05-06 6:05
相关推荐
NuyoahC1 小时前
算法笔记(十一)——优先级队列(堆)Langchain1 小时前
不可错过!CMU最新《生成式人工智能大模型》课程:从文本、图像到多模态大模型龙的爹23331 小时前
论文翻译 | Generated Knowledge Prompting for Commonsense Reasoning龙的爹23331 小时前
论文翻译 | Model-tuning Via Prompts Makes NLP Models Adversarially Robust_.Switch1 小时前
Python机器学习:自然语言处理、计算机视觉与强化学习这可就有点麻烦了2 小时前
强化学习笔记之【TD3算法】Envyᥫᩣ3 小时前
Python中的自然语言处理:从基础到高级sp_fyf_20243 小时前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-03Ljubim.te4 小时前
软件设计师——数据结构speop5 小时前
【笔记】I/O总结王道强化视频笔记