自然语言处理

自然语言处理NLP,目标就是让计算机理解人类的语言。

循环神经网络

如何让计算机理解人类语言呢?历史演进

1.基于同义词词典的方法

具有相同或类似含义的单词,可以归到同一个类别中,而根据单词"整体-部分"或者"上位-下位"关系,可以构建出层级的树状图。这样,就可以构成一个庞大的"单词网络",用它就可以教会计算机单词之间的关系,从而计算出单词的"相似度"。

2.基于计数的方法

大量的文本数据,构成了语料库。我们的目的,就是从语料库中,自动且高效的提取出语言的本质,最简单的做法,就是统计词频。

分词:对文本内容进行切分,找出一个个基本单元

词关联ID:给单词标上一个ID,构建单词和ID的关联字典(称为"词表")

词向量化:用于一个固定长度的向量来表示单词,也称为词的"分布式表示"

对每一个词,可以统计它周围出现了什么单词,出现了多少次,把这些词频统计出来,就构成了一个向量,

相关推荐
richard_first2 分钟前
Transformer 与大语言模型:第3章 输入是如何进入 Transformer 的
人工智能·深度学习·transformer
樊小肆13 分钟前
DeepSeeker-Code源码导读11-统一注册表registry
人工智能·agent
鉴生Eric16 分钟前
从冷负荷预测到群控寻优:用 AI 智能体把中央空调能耗打下来 20%+ 的全链路实践
人工智能
水獭比特21 分钟前
工作流都公开了,为什么还不能继承 Owner 权限?
javascript·人工智能·node.js
不加辣椒24 分钟前
第 3 章 信任壁垒:为什么 AI 生成的代码不可直接信任
人工智能
toolsmith24 分钟前
我用AI拆解了Charles的授权机制,发现密钥被写死在了代码里
java·人工智能
小羊4327 分钟前
Agent规划范式进化论:从CoT到Plan-and-Execute
人工智能
AI探索派31 分钟前
Agent Teams和Agent Swarm是什么?多Agent协作原理实战拆解
人工智能·架构·agent
wizardpisces35 分钟前
Prompt 堆叠的尽头,是系统设计问题
人工智能
Wang's Blog1 小时前
Vibe Coding一人即团队系列8: Claude Code 模型选型指南
人工智能