自然语言处理

自然语言处理NLP,目标就是让计算机理解人类的语言。

循环神经网络

如何让计算机理解人类语言呢?历史演进

1.基于同义词词典的方法

具有相同或类似含义的单词,可以归到同一个类别中,而根据单词"整体-部分"或者"上位-下位"关系,可以构建出层级的树状图。这样,就可以构成一个庞大的"单词网络",用它就可以教会计算机单词之间的关系,从而计算出单词的"相似度"。

2.基于计数的方法

大量的文本数据,构成了语料库。我们的目的,就是从语料库中,自动且高效的提取出语言的本质,最简单的做法,就是统计词频。

分词:对文本内容进行切分,找出一个个基本单元

词关联ID:给单词标上一个ID,构建单词和ID的关联字典(称为"词表")

词向量化:用于一个固定长度的向量来表示单词,也称为词的"分布式表示"

对每一个词,可以统计它周围出现了什么单词,出现了多少次,把这些词频统计出来,就构成了一个向量,

相关推荐
深圳安锐科技有限公司21 小时前
从成像尺度到亚像素解算:变焦视觉位移监测如何让远近断面都稳
图像处理·人工智能·深度学习·算法·计算机视觉·系统架构·结构健康监测
木头科技21 小时前
【AI 工程化第十八篇】Spring AI 语音 Agent 实战:实时转写、WebSocket、流式 TTS 与打断机制
java·人工智能·安全·spring·性能优化
天远数科21 小时前
零信任架构实战:基于天远企业年报信息核验构建自动化供应商准入资质合规审查网关
运维·人工智能·架构·自动化
taotao03321 小时前
【AI通识课·第2期】AI 发展简史——从图灵测试到 ChatGPT,这 70 年发生了什么?
人工智能·chatgpt
zhippt_101421 小时前
图转PPT实测:截图和课件图片怎么变成可编辑幻灯片
人工智能·面试·powerpoint
TangGeeA21 小时前
Control CLI Tutorial:用 aio 从终端控制 aiopsterm
运维·人工智能
king135987455021 小时前
AI Agent 端云协同选型:Node.js 任务成本算例与权限检查清单(2027—2028 展望)
人工智能·ai·node.js·ai agent
了不起的云计算V1 天前
DDR4与DDR5如何选?海光双路新品给出分层部署思路
人工智能
鲜于言悠9051 天前
PentAGI拆解:能自动做渗透测试的AI多智能体
人工智能