知识图谱(五)

一机器学习,深度学习实现NER(序列标注)

1.1机器学习和深度学习完成NER(序列标注)

相同点:二者都需要对句子里面的对象进行标注

不同点:传统机器学习需要人工对对象特征标注,深度学习则是把分词后的结果转向量自己学习特征.

传统机器学习的缺点是每个词都需要人工标注特征,严重依赖人工设计的特征,机器学习常用的标注方法是bio.,常用的模型是CRF.

深度神经网络最常用的是BILSTM+CRF模型,缺点是训练模型需要大量人工标记的数据

1.2线性链条件随机场

给定线性输入序列x,输出线性序列Y.每个位置的标签只和相邻的标签以及本身x有关,和其他无关.

二:基于深度学习完成NER

2.1单条路径分数计算

发射分数权重矩阵的维度是(字符数,标签数),转移分数的权重矩阵是(标签数,标签数).

Eg:

最优路径的分数计算:(图上画错了,画了两个t10)

B-Person:E00+0.93

I-Person:E11+0.66

...........

最后相加可以得到单条路径的分数

2.2全部路径分数计算

路径总共有5**4条,路径数量很多,全部算出来很耗费资源.需要使用前向算法的动态规划.

三Viterbi算法解码

3.1viterbi算法作用

CRF计算所有路径分数得到分数矩阵以后,需要使用viterbi解码的方式获取得分最高的那条路径

3.2viterbi算法原理

前向算法寻找最短路径的方法:

viterbi算法寻找最短路径:

从A序列到B1有三条路径,选择最短路径

其他同上

得到三条路径:

同上,得到b到c序列的路径:

最后得到三条路径.

viterbi算法相较于前向的算法优势在于:只关注最优线路,而不是所有线路.

3.3viterbi解码在CRF模型中的应用

面试题:viterbi算法的复杂度和前向计算算法的复杂度分别是多少?

viterbi算法每列计算M*2次,复杂度为N*M**2

前向传播算法复杂度为M**N

相关推荐
攒了一袋星辰2 天前
AI 求职长期记忆原理解析:从碎片经历到贝叶斯能力星图
知识图谱·agent·rag·ai工程·校招面试
龙腾AI白云3 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
龙腾AI白云5 天前
具身智能模仿学习与人类示教:从观察中习得动作
数据库·机器学习·知识图谱·pygame
AllData公司负责人5 天前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
底层玩家老张11 天前
一次多跳查询的复盘:图不搬出库,GraphRAG 怎么落地
知识图谱·graphrag·ai数据库·语义层·数据库内核
程序员果子12 天前
本体构建方法
人工智能·python·知识图谱·agent框架·本体
小林ixn12 天前
GraphRAG 实战:用 Neo4j 知识图谱,让 RAG 从“找货“进化到“梳理关系“
人工智能·知识图谱·neo4j
龙腾AI白云13 天前
仿真到现实(Sim-to-Real)迁移:跨越仿真与现实鸿沟
数据库·机器学习·plotly·知识图谱·tornado
奶油话梅糖15 天前
2,615 个知识点、3,003 条先修边:6,800 Star 的开源知识图谱,能顺着错题从高中回溯到小学
人工智能·知识图谱
奥惟斯17 天前
GEO 上线前,先把这 3 类实体信号地基补上
人工智能·深度学习·机器学习·自然语言处理·数据挖掘·数据分析·知识图谱