自然语言处理

自然语言处理NLP,目标就是让计算机理解人类的语言。

循环神经网络

如何让计算机理解人类语言呢?历史演进

1.基于同义词词典的方法

具有相同或类似含义的单词,可以归到同一个类别中,而根据单词"整体-部分"或者"上位-下位"关系,可以构建出层级的树状图。这样,就可以构成一个庞大的"单词网络",用它就可以教会计算机单词之间的关系,从而计算出单词的"相似度"。

2.基于计数的方法

大量的文本数据,构成了语料库。我们的目的,就是从语料库中,自动且高效的提取出语言的本质,最简单的做法,就是统计词频。

分词:对文本内容进行切分,找出一个个基本单元

词关联ID:给单词标上一个ID,构建单词和ID的关联字典(称为"词表")

词向量化:用于一个固定长度的向量来表示单词,也称为词的"分布式表示"

对每一个词,可以统计它周围出现了什么单词,出现了多少次,把这些词频统计出来,就构成了一个向量,

相关推荐
Raas1002 小时前
MAI Gateway(魔芋企业级AI网关)技术揭秘:AI网关支持哪些模型?从原理到落地
大数据·人工智能·网关·gateway·mai gateway·企业级产品
豪气的程序猿4 小时前
电商图片工作流怎么选?Lingko AI 对比折叠键盘主图与详情页
人工智能
小刘快学习5 小时前
把 AI 账单拆到部门:企业 AI 网关的精准分账思路
人工智能
米小虾5 小时前
你让监控模型读的思维链,可能是攻击者写好的剧本
人工智能
deepseek235 小时前
Iris 开源搜索智能体拆解:35B 与 397B 中文仅差 0.3 分,上下文管理胜过堆参数
人工智能·ai agent·开源模型
ai小陈5 小时前
CUDA Stream实战:让数据传输与GPU计算真正重叠
人工智能·深度学习·ai·pdf·云计算·gpu算力
residual_fan5 小时前
【学术论文】航空发动机故障诊断智能体:基于持续对比强化学习的动态优化方法
人工智能·算法·数据挖掘·数据分析
东风破_5 小时前
从 RAG 到 Agentic RAG:第二步,把复杂问题拆开再检索
人工智能
dehuisun5 小时前
第07篇:RAG+Agent 部署架构、资源评估与私有化方案
人工智能
米小虾5 小时前
拆给 8 个子智能体,只拿回 2.3 倍信息:多智能体分解的产出守恒律
人工智能·agent