自然语言处理之LSTM+CRF序列标注

前言

序列标注是对输入序列中的每个标记进行标注标签的过程,常用于信息抽取任务,如分词、词性标注和命名实体识别。其中,命名实体识别是其中的一种任务。

输入序列
输出标注 B I I I O O O O O B I

条件随机场

序列标注需要考虑相邻Token之间的关联关系,而条件随机场是一种适合解决这种问题的概率图模型。文章详细介绍了条件随机场的定义和参数化形式,以及计算输出序列概率的公式和发射概率函数、转移概率函数的定义。

Score计算

根据一个公式计算正确标签序列对应的得分,需要注意维护两个向量作为序列开始和结束时的转移概率,并引入一个掩码矩阵来忽略填充值,使得得分计算只包含有效的Token。

Normalizer计算

使用动态规划算法来计算Normalizer的方法,通过复用计算结果来提高效率。假设需要计算从第0至第𝑖个Token所有可能的输出序列得分Score𝑖,则可以先计算出从第0至第𝑖−1个Token所有可能的输出序列得分Score𝑖−1。

Viterbi算法

完成前向训练后,需要实现解码部分,选择Viterbi算法求解序列最优路径。通过动态规划求解所有可能的预测序列得分,并同时保存每个Token对应的最大概率得分和标签历史。根据Viterbi算法的公式,逆序求解每一个概率最大的标签,构成最佳的预测序列。由于静态图语法限制,Viterbi算法部分将作为后处理函数,不纳入后续CRF层的实现。

CRF层

关于如何组装完整的CRF(条件随机场)层的。在组装过程中需要考虑输入序列可能存在Padding的情况,因此除发射矩阵和标签外,加入了 seq_length 参数传入序列Padding前的长度,并实现了生成mask矩阵的 sequence_mask 方法。最后使用 nn.Cell 进行封装,实现完整的CRF层。

总结

主要介绍使用MindSpore实现序列标注任务的条件随机场(CRF)模型。从公式推导到具体代码实现,详细介绍了CRF层的前向训练部分、动态规划求解Normalizer、Viterbi算法寻找最优路径等关键步骤。最后构建了一个BiLSTM+CRF模型进行命名实体识别任务的训练和预测,并展示了训练及预测结果。

相关推荐
魔众4 分钟前
AIGCPanel 0.10.0 重磅更新,功能再升级!
人工智能
白雪讲堂18 分钟前
AI SEO内容优化指南:如何打造AI平台青睐的高质量内容
人工智能·自然语言处理
云说智树19 分钟前
破解GenAI时代工业物联网落地难题:研华IoTSuite如何用“全栈技术“重构智造未来?
人工智能·物联网
Yan-英杰23 分钟前
DeepSeek-R1模型现已登录亚马逊云科技
java·大数据·人工智能·科技·机器学习·云计算·deepseek
Jamence35 分钟前
多模态大语言模型arxiv论文略读(一)
人工智能·深度学习·语言模型
KangkangLoveNLP38 分钟前
手动实现一个迷你Llama:使用SentencePiece实现自己的tokenizer
人工智能·深度学习·学习·算法·transformer·llama
jndingxin1 小时前
OpenCV 图形API(14)用于执行矩阵(或图像)与一个标量值的逐元素乘法操作函数mulC()
人工智能·opencv
晓13132 小时前
第七章 Python基础进阶-异常、模块与包(其五)
人工智能·python
Swift社区2 小时前
AI+自动化测试:如何让测试编写效率提升10倍?
人工智能
weixin_442424032 小时前
Opencv计算机视觉编程攻略-第九节 描述和匹配兴趣点
人工智能·opencv·计算机视觉