tf-idf

小码哥哥8 小时前
人工智能·tf-idf
从TF-IDF到RAG:企业AI知识库检索技术的六次范式跃迁作为一名从事NLP方向十余年的技术从业者,我亲历了企业知识检索技术从"关键词匹配"到"语义理解"再到"大模型生成"的完整演进过程。每一次范式跃迁,都不仅仅是算法层面的革新,更是整个技术栈的重新洗牌。
解局易否结局13 小时前
华为·自然语言处理·分类·harmonyos·tf-idf
鸿蒙端侧 NLP 实战:分词器 + TF-IDF + 朴素贝叶斯分类 + 文本相似度技术栈:HarmonyOS NEXT(API 12+)|ArkTS 原生开发 核心亮点:纯算法实现,不依赖任何第三方 NLP 库;覆盖分词 → 关键词提取 → 文本分类 → 相似度计算全链路 难度定位:中高级 · 完整可运行代码
五条凪2 天前
人工智能·算法·搜索引擎·全文检索·tf-idf
简单理解 BM25 与 TF-IDFTF-IDF即为词频*词逆文档频率(词稀有度),代表着某个词能不能代表文档,并通过该值与其他文档区分开。
All The Way North-2 天前
随机森林·机器学习·nlp·tf-idf·文本分类·sklearn·保姆级教程
【NLP文本分类实战】随机森林 + TF-IDF 完整流程,准确率82.5%(数据分析/分词/模型训练)数据分析代码位置:首先导入工具包:主要包含以下内容:读取文本文件中的数据,分析了数据的基本信息,包括显示前10行数据、输出总样本数量以及每个类别的样本数量。使用了 pandas 库来处理数据,并使用 Counter 进行样本类别的计数
XGeFei3 天前
算法·tf-idf
TF-IDF(词频-逆文档频率)TF:Term Frequency 词频 IDF:Inverse Document Frequency 逆文档频率 合起来 TF-IDF = 词频-逆文档频率,是文本挖掘、检索最经典的词语权重计算算法,用来衡量一个词在某篇文档里的重要程度。
想会飞的蒲公英14 天前
人工智能·pytorch·python·随机森林·分类·flask·tf-idf
TF-IDF + 随机森林中文文本分类全链路实战:从训练脚本到 Flask API + Streamlit 前端上一篇复盘里,我们用 RNN 跑通了中文垃圾短信的训练—评估闭环。但跑完会发现一个尴尬的现实:模型权重躺在本地 .pt 文件里,除了你自己,没人能用它。
TE-茶叶蛋1 个月前
python·django·tf-idf
TF-IDF 与 BM25 深度解析:从理论到项目实战全文检索与关键词排序的两大基石算法,从数学原理到 next-mobile 项目落地全链路拆解。TF-IDF(Term Frequency - InverseInverse Document Frequency) 是信息检索领域最经典的文本特征提取算法。一句话概括:
m沐沐2 个月前
人工智能·python·机器学习·自然语言处理·nlp·中文分词·tf-idf
【机器学习】NLP---用 Python+TF-IDF 给《红楼梦》自动提取关键词在信息爆炸的时代,快速从文本中抓取核心信息的能力非常重要。TF-IDF 是 NLP 领域最经典、也最容易上手的关键词提取算法之一。本文将带你从零开始,完成从文本读取、分词、去停用词,到使用 TF-IDF 提取每一回关键词的全过程,代码清晰易懂,有需要可直接运行。
SHolmes18542 个月前
tf-idf
TF-IDF为什么能找出文本里的重要词?https://www.youtube.com/watch?v=D2V1okCEsiEhttps://www.youtube.com/watch?v=D2V1okCEsiE
不会计算机的g_c__b2 个月前
tf-idf
基于酒店文本描述的相似酒店推荐系统:从TF-IDF到余弦相似度实战在旅游和酒店预订场景中,用户常常希望找到与某家心仪酒店风格、位置、设施相似的替代选择。传统方法依赖标签分类或协同过滤,但当缺乏用户行为数据时,如何仅利用酒店的描述文本进行相似度计算就成为了一个有趣且实用的 NLP 任务。
人工干智能3 个月前
python·tf-idf
科普:CountVectorizer、TF、TF-IDF,三者层层递进CountVectorizer → Count Vectorizer 计数向量化器词频 → TF = Term Frequency 词条频率
琪伦的工具库3 个月前
tf-idf
本地文档批量统计词权如果你需要在 Windows 桌面端对同一目录下大量纯文本做批量词频统计,并可选带上 TF-IDF、BM25 两列用于后续筛选或简报,可以用【批量文档词频权重统计工具】。下文只记操作与产物,不写任何公式或底层实现。
阿钱真强道4 个月前
python·nlp·tf-idf·文本向量化·词袋模型·bow
37 Python 时序和文本:词袋模型 BoW 和 TF-IDF 到底怎么理解?上一篇主要解决了两个基础问题:但文本清洗完成之后,新的问题很快就会出现:词已经切出来了,接下来怎么让模型“看懂”这些词?
Dway4 个月前
tf-idf
TF-IDF全称:term frequency-inverse document frequency即:词频 - 逆文档频率
我材不敲代码4 个月前
人工智能·自然语言处理·tf-idf
Python 实战——红楼梦文本分析全流程:从分卷处理到分词再到TF-IDF 提取核心关键词经典文本的量化分析是自然语言处理(NLP)的经典应用场景,《红楼梦》作为中国古典小说巅峰之作,其文本结构清晰、人物关系复杂,非常适合作为 NLP 实战案例。本文将从文本分卷切割、中文分词与停用词过滤、TF-IDF 提取核心关键词三个维度,完整实现《红楼梦》文本的自动化分析,帮助大家掌握从原始文本到核心特征提取的全流程。
光羽隹衡6 个月前
python·tf-idf
机器学习——TF-IDF实战(红楼梦数据处理)有上图可知,我们的文本中存在电子书.......,章节内容开始......,和一些网址广告,所以我们对他们进行相应处理
囊中之锥.6 个月前
前端·tf-idf·easyui
从分词到词云:基于 TF-IDF 的中文关键词提取实践随着互联网信息的快速增长,文本数据呈现出规模大、更新快、结构复杂等特点。如何从大量文本中快速获取核心信息,成为自然语言处理领域的重要研究内容之一。关键词提取任务正是在这一背景下提出的典型文本处理任务。
光羽隹衡6 个月前
机器学习·自然语言处理·tf-idf
机器学习——自然语言处理之关键词提取任务(TF-IDF)Step1:数据收集:收集研究需要的数据,建立相应的语料库Step2:数据准备:导入分词库喝停用词库Step3:模型建立:使用jieba分词,对语料库进行分词处理
Pyeako6 个月前
机器学习·nlp·tf-idf·红楼梦·自然语言学习
机器学习--TF-IDF&红楼梦案例任务:给定任意一篇文本,然后提取该文本的关键词如何进行关键词提取?步骤1)什么是语料库?(1)语料库中存放的是在语言的实际使用中真实出现过的语言材料
薛不痒6 个月前
人工智能·算法·机器学习·tf-idf
机器学习算法之TF-idftfidf算法是一种文本特征提取方法。tf:词频,单词在当前文档中的频率,局部重要性idf:逆文档频率,单词在所有文档中的稀缺程度,全局重要性