自然语言处理

自然语言处理NLP,目标就是让计算机理解人类的语言。

循环神经网络

如何让计算机理解人类语言呢?历史演进

1.基于同义词词典的方法

具有相同或类似含义的单词,可以归到同一个类别中,而根据单词"整体-部分"或者"上位-下位"关系,可以构建出层级的树状图。这样,就可以构成一个庞大的"单词网络",用它就可以教会计算机单词之间的关系,从而计算出单词的"相似度"。

2.基于计数的方法

大量的文本数据,构成了语料库。我们的目的,就是从语料库中,自动且高效的提取出语言的本质,最简单的做法,就是统计词频。

分词:对文本内容进行切分,找出一个个基本单元

词关联ID:给单词标上一个ID,构建单词和ID的关联字典(称为"词表")

词向量化:用于一个固定长度的向量来表示单词,也称为词的"分布式表示"

对每一个词,可以统计它周围出现了什么单词,出现了多少次,把这些词频统计出来,就构成了一个向量,

相关推荐
汤姆小白10 小时前
01-环境搭建与项目导览
人工智能·python·机器学习·numpy
喜欢就别12 小时前
【Agentic RL / 强化学习 / OPD】OpenClaw-RL 源码阅读笔记 --- (2)--- On-Policy Distillation
人工智能·笔记
糯米导航15 小时前
AI 视觉回归实战:截图对比不是“找不同”,如何让智能差异分析真正服务 UI 质量
人工智能·ui·回归
科技圈观察15 小时前
2026年好伴AI医疗专用大模型应用梳理与梯队参考
人工智能
jkyy201416 小时前
深耕AI健康医疗数据智库,赋能企业构建主动健康管理新生态
大数据·人工智能·健康医疗
cd_9492172116 小时前
3D角色自动绑骨怎么做?用V2Fun完成建模、绑定、动作和导出
人工智能·3d
瑞禧生物tech16 小时前
SH-PEG-Biotin巯基-聚乙二醇-生物素 HS-PEG-Bio 深度解析
人工智能
QYR-分析16 小时前
机器人安全控制器行业高速扩容 本土替代迎来全新发展窗口期
人工智能·安全·机器人
冬奇Lab17 小时前
MCP 系列(06):MCP vs Function Calling——用数据说话的选型指南
人工智能
冬奇Lab17 小时前
每日一个开源项目(第159篇):Vibe-Trading - 用自然语言做量化研究,AI 驱动的个人交易 Agent
人工智能·开源·资讯