昇思25天学习打卡营第23天|LSTM+CRF序列标注

1. 序列标注简介

序列标注是自然语言处理中的一项任务,它涉及到对输入序列中的每个元素(Token)进行分类标注。常见的序列标注任务包括分词、词性标注和命名实体识别(NER)。例如,在NER中,模型需要识别文本中的地名、人名等实体。

2. 条件随机场(CRF)

CRF是一种用于序列标注的概率图模型。与简单的多分类问题不同,CRF能够捕捉序列中Token之间的依赖关系。例如,在NER中,如果一个词被标记为实体的一部分(I标签),那么它的前一个词应该是实体的开始(B标签)或也是实体的一部分(I标签)。

CRF的关键概念包括:
  • 发射概率:表示给定Token的条件下,它被分配某个标签的概率。
  • 转移概率:表示从一个标签转移到另一个标签的概率。
  • 线性链CRF:一种特殊类型的CRF,它考虑了序列中相邻Token之间的转移。

3. CRF的数学定义

CRF通过以下公式定义序列y在给定输入序列x下的概率:

[ P(y|x) = \frac{\exp(\text{Score}(x,y))}{\sum_{y' \in Y} \exp(\text{Score}(x,y'))} ]

其中,Score函数计算序列x和y的得分,包括发射概率和转移概率的贡献。

4. CRF层的实现

教程提供了使用MindSpore框架实现CRF层的代码,包括:

  • Score计算:根据发射概率和转移概率计算序列得分。
  • Normalizer计算:使用动态规划算法计算所有可能序列得分的对数指数和,以提高效率。
  • Viterbi算法:一种动态规划算法,用于在解码阶段找到最优的标签序列。

5. BiLSTM+CRF模型

该模型结合了双向长短期记忆网络(BiLSTM)和CRF。BiLSTM用于提取序列特征,而CRF用于序列标注。模型结构如下:

  • Embedding层:将词转换为词向量。
  • LSTM层:双向LSTM网络,提取序列特征。
  • Dense层:将LSTM的输出转换为发射概率矩阵。
  • CRF层:进行序列标注的最终预测。

6. 训练和预测

教程还介绍了如何准备数据、实例化模型、选择优化器、训练模型以及使用模型进行预测。包括:

  • 数据准备:创建词汇表和标签表,将文本序列转换为模型可接受的格式。
  • 模型训练:使用SGD优化器进行训练,并通过tqdm库可视化训练过程。
  • 预测和解码:使用模型进行预测,并通过Viterbi算法找到最优的标签序列。

7. 结果展示

最后,教程展示了如何将模型预测的标签索引转换回实际的标签,并打印输出结果,以验证模型的效果。

LSTM+CRF序列标注

相关推荐
qzhqbb15 分钟前
基于统计方法的语言模型
人工智能·语言模型·easyui
冷眼看人间恩怨40 分钟前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_8830410841 分钟前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
Nu11PointerException1 小时前
JAVA笔记 | ResponseBodyEmitter等异步流式接口快速学习
笔记·学习
AI极客菌2 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭2 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^2 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246663 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k3 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫3 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法