自然语言处理之LSTM+CRF序列标注

前言

序列标注是对输入序列中的每个标记进行标注标签的过程,常用于信息抽取任务,如分词、词性标注和命名实体识别。其中,命名实体识别是其中的一种任务。

输入序列 清 华 大 学 座 落 于 首 都 北 京
输出标注 B I I I O O O O O B I

条件随机场

序列标注需要考虑相邻Token之间的关联关系,而条件随机场是一种适合解决这种问题的概率图模型。文章详细介绍了条件随机场的定义和参数化形式,以及计算输出序列概率的公式和发射概率函数、转移概率函数的定义。

Score计算

根据一个公式计算正确标签序列对应的得分,需要注意维护两个向量作为序列开始和结束时的转移概率,并引入一个掩码矩阵来忽略填充值,使得得分计算只包含有效的Token。

Normalizer计算

使用动态规划算法来计算Normalizer的方法,通过复用计算结果来提高效率。假设需要计算从第0至第𝑖个Token所有可能的输出序列得分Score𝑖,则可以先计算出从第0至第𝑖−1个Token所有可能的输出序列得分Score𝑖−1。

Viterbi算法

完成前向训练后,需要实现解码部分,选择Viterbi算法求解序列最优路径。通过动态规划求解所有可能的预测序列得分,并同时保存每个Token对应的最大概率得分和标签历史。根据Viterbi算法的公式,逆序求解每一个概率最大的标签,构成最佳的预测序列。由于静态图语法限制,Viterbi算法部分将作为后处理函数,不纳入后续CRF层的实现。

CRF层

关于如何组装完整的CRF(条件随机场)层的。在组装过程中需要考虑输入序列可能存在Padding的情况,因此除发射矩阵和标签外,加入了 seq_length 参数传入序列Padding前的长度,并实现了生成mask矩阵的 sequence_mask 方法。最后使用 nn.Cell 进行封装,实现完整的CRF层。

总结

主要介绍使用MindSpore实现序列标注任务的条件随机场(CRF)模型。从公式推导到具体代码实现,详细介绍了CRF层的前向训练部分、动态规划求解Normalizer、Viterbi算法寻找最优路径等关键步骤。最后构建了一个BiLSTM+CRF模型进行命名实体识别任务的训练和预测,并展示了训练及预测结果。

相关推荐
电科_银尘6 小时前
【大模型算法与工程 09】SGD、Momentum与AdamW:优化器如何选择
人工智能·算法
羲云网络6 小时前
GPT Image 2.6 商品图交付:用文件指纹排查错图、覆盖与版本串线
图像处理·人工智能·python·技术教程·文件校验
jianqiang.xue6 小时前
1颗NPU分时复用:鸿蒙把轻AI塞进了MCU
人工智能·单片机·mcu·嵌入式·harmonyos·鸿蒙·端侧ai
前端的阶梯6 小时前
AI Agent 之 工具(Tool)
人工智能
孟健6 小时前
用 HyperFrames 解决前端视频生成难题:国产 Flash 模型实测 3 条 1080p 视频
前端·人工智能·开源
两万五千个小时7 小时前
Agent 记忆不是聊天记录,而是为未来准备的上下文 ——Anthropic 的四层记忆架构与 Dream 思想
人工智能·程序员
汤姆宝库7 小时前
语料清洗流水线的实现:启发式过滤、MinHash去重与质量分级
人工智能
火山引擎开发者社区7 小时前
不会 FFmpeg 也能做视频后期?AI MediaKit Skill 帮你实现
人工智能
tellmewhoisi7 小时前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习
AI_Gump7 小时前
AutoGLM 两年演进深度解读:一篇讲透智谱的手机 Agent 路线
人工智能·智能手机