自然语言处理之LSTM+CRF序列标注

前言

序列标注是对输入序列中的每个标记进行标注标签的过程,常用于信息抽取任务,如分词、词性标注和命名实体识别。其中,命名实体识别是其中的一种任务。

输入序列
输出标注 B I I I O O O O O B I

条件随机场

序列标注需要考虑相邻Token之间的关联关系,而条件随机场是一种适合解决这种问题的概率图模型。文章详细介绍了条件随机场的定义和参数化形式,以及计算输出序列概率的公式和发射概率函数、转移概率函数的定义。

Score计算

根据一个公式计算正确标签序列对应的得分,需要注意维护两个向量作为序列开始和结束时的转移概率,并引入一个掩码矩阵来忽略填充值,使得得分计算只包含有效的Token。

Normalizer计算

使用动态规划算法来计算Normalizer的方法,通过复用计算结果来提高效率。假设需要计算从第0至第𝑖个Token所有可能的输出序列得分Score𝑖,则可以先计算出从第0至第𝑖−1个Token所有可能的输出序列得分Score𝑖−1。

Viterbi算法

完成前向训练后,需要实现解码部分,选择Viterbi算法求解序列最优路径。通过动态规划求解所有可能的预测序列得分,并同时保存每个Token对应的最大概率得分和标签历史。根据Viterbi算法的公式,逆序求解每一个概率最大的标签,构成最佳的预测序列。由于静态图语法限制,Viterbi算法部分将作为后处理函数,不纳入后续CRF层的实现。

CRF层

关于如何组装完整的CRF(条件随机场)层的。在组装过程中需要考虑输入序列可能存在Padding的情况,因此除发射矩阵和标签外,加入了 seq_length 参数传入序列Padding前的长度,并实现了生成mask矩阵的 sequence_mask 方法。最后使用 nn.Cell 进行封装,实现完整的CRF层。

总结

主要介绍使用MindSpore实现序列标注任务的条件随机场(CRF)模型。从公式推导到具体代码实现,详细介绍了CRF层的前向训练部分、动态规划求解Normalizer、Viterbi算法寻找最优路径等关键步骤。最后构建了一个BiLSTM+CRF模型进行命名实体识别任务的训练和预测,并展示了训练及预测结果。

相关推荐
白熊1883 分钟前
【计算机视觉】CV实战项目 - 基于YOLOv5的人脸检测与关键点定位系统深度解析
人工智能·yolo·计算机视觉
nenchoumi31195 分钟前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln
后端小肥肠15 分钟前
文案号搞钱潜规则:日入四位数的Coze工作流我跑通了
人工智能·coze
LCHub低代码社区16 分钟前
钧瓷产业原始创新的许昌共识:技术破壁·产业再造·生态重构(一)
大数据·人工智能·维格云·ai智能体·ai自动化·大禹智库·钧瓷码
-曾牛17 分钟前
Spring AI 快速入门:从环境搭建到核心组件集成
java·人工智能·spring·ai·大模型·spring ai·开发环境搭建
阿川201521 分钟前
云智融合普惠大模型AI,政务服务重构数智化路径
人工智能·华为云·政务·deepseek
自由鬼1 小时前
开源AI开发工具:OpenAI Codex CLI
人工智能·ai·开源·软件构建·开源软件·个人开发
生信碱移1 小时前
大语言模型时代,单细胞注释也需要集思广益(mLLMCelltype)
人工智能·经验分享·深度学习·语言模型·自然语言处理·数据挖掘·数据可视化
一个数据大开发1 小时前
解读《数据资产质量评估实施规则》:企业数据资产认证落地的关键指南
大数据·数据库·人工智能
云卓SKYDROID1 小时前
无人机环境适应性与稳定性技术要点!
人工智能·无人机·科普·高科技·云卓科技