自然语言处理之LSTM+CRF序列标注

前言

序列标注是对输入序列中的每个标记进行标注标签的过程,常用于信息抽取任务,如分词、词性标注和命名实体识别。其中,命名实体识别是其中的一种任务。

输入序列
输出标注 B I I I O O O O O B I

条件随机场

序列标注需要考虑相邻Token之间的关联关系,而条件随机场是一种适合解决这种问题的概率图模型。文章详细介绍了条件随机场的定义和参数化形式,以及计算输出序列概率的公式和发射概率函数、转移概率函数的定义。

Score计算

根据一个公式计算正确标签序列对应的得分,需要注意维护两个向量作为序列开始和结束时的转移概率,并引入一个掩码矩阵来忽略填充值,使得得分计算只包含有效的Token。

Normalizer计算

使用动态规划算法来计算Normalizer的方法,通过复用计算结果来提高效率。假设需要计算从第0至第𝑖个Token所有可能的输出序列得分Score𝑖,则可以先计算出从第0至第𝑖−1个Token所有可能的输出序列得分Score𝑖−1。

Viterbi算法

完成前向训练后,需要实现解码部分,选择Viterbi算法求解序列最优路径。通过动态规划求解所有可能的预测序列得分,并同时保存每个Token对应的最大概率得分和标签历史。根据Viterbi算法的公式,逆序求解每一个概率最大的标签,构成最佳的预测序列。由于静态图语法限制,Viterbi算法部分将作为后处理函数,不纳入后续CRF层的实现。

CRF层

关于如何组装完整的CRF(条件随机场)层的。在组装过程中需要考虑输入序列可能存在Padding的情况,因此除发射矩阵和标签外,加入了 seq_length 参数传入序列Padding前的长度,并实现了生成mask矩阵的 sequence_mask 方法。最后使用 nn.Cell 进行封装,实现完整的CRF层。

总结

主要介绍使用MindSpore实现序列标注任务的条件随机场(CRF)模型。从公式推导到具体代码实现,详细介绍了CRF层的前向训练部分、动态规划求解Normalizer、Viterbi算法寻找最优路径等关键步骤。最后构建了一个BiLSTM+CRF模型进行命名实体识别任务的训练和预测,并展示了训练及预测结果。

相关推荐
LaughingZhu21 分钟前
Product Hunt 每日热榜 | 2025-09-07
人工智能·经验分享·搜索引擎·产品运营
星马梦缘24 分钟前
Matlab机器人工具箱使用2 DH建模与加载模型
人工智能·matlab·机器人·仿真·dh参数法·改进dh参数法
居然JuRan41 分钟前
从零开始学大模型之预训练语言模型
人工智能
martinzh1 小时前
向量化与嵌入模型:RAG系统背后的隐形英雄
人工智能
新智元1 小时前
学哲学没出路?不好意思,现在哲学就业碾压 CS!
人工智能·openai
AI码上来1 小时前
当小智 AI 遇上数字人,我用 WebRTC 打造实时音视频应用
人工智能·webrtc·实时音视频
黎燃1 小时前
智能库存管理的需求预测模型:从业务痛点到落地代码的完整实践
人工智能
机器之心2 小时前
DPad: 扩散大语言模型的中庸之道,杜克大学陈怡然团队免训推理加速61倍
人工智能·openai
一车小面包2 小时前
人工智能中的线性代数总结--简单篇
人工智能·numpy
大模型真好玩2 小时前
深入浅出LangGraph AI Agent智能体开发教程(四)—LangGraph全生态开发工具使用与智能体部署
人工智能·python·mcp