LSTM+CRF序列标注学习总结
概述
序列标注是为输入序列中的每个Token分配标签的过程，广泛应用于信息抽取任务。这些任务包括分词、词性标注和命名实体识别（NER）。例如，在NER中，输入序列可能是"清华大学在北京"，输出序列为标签，其中"清华大学"与"北京"都是地名。
使用的标注方法通常为"BIOE"标注法：
- B：实体的开始
- I：实体的内部部分
- O：非实体
例如：
| 输入序列 | 清 | 华 | 大 | 学 | 在 | 北 | 京 |
|---|---|---|---|---|---|---|---|
| 输出标注 | B | I | I | I | O | B | I |
条件随机场 (CRF)
在序列标注中，除了对每个Token进行独立的分类预测，还需要考虑相邻Token之间的依赖关系。条件随机场（CRF）作为一种有效的概率图模型，能够处理这种依赖性。
CRF的工作原理
- 输入：给定一个输入序列 ( x = {x_0, x_1, ..., x_n} ) 和对应的标签序列 ( y = {y_0, y_1, ..., y_n} )。
- 概率计算 ：输出序列的概率通过发射概率和转移概率两部分进行计算：
- 发射概率 ( \psi_{\text{EMIT}} )：表示每个Token映射到标签的可能性。
- 转移概率 ( \psi_{\text{TRANS}} )：表示标签之间的转换概率。
结合上述概率可以得到：
Score ( x , y ) = ∑ i log ψ EMIT ( x i → y i ) + log ψ TRANS ( y i − 1 → y i ) \text{Score}(x, y) = \sum_i \log \psi_{\text{EMIT}}(x_i \rightarrow y_i) + \log \psi_{\text{TRANS}}(y_{i-1} \rightarrow y_i) Score(x,y)=i∑logψEMIT(xi→yi)+logψTRANS(yi−1→yi)
参数化形式
CRF的输出概率通过以下公式计算：
KaTeX parse error: Expected 'EOF', got '}' at position 88: ...Score}(x, y')}}}̲
该公式的目标是最大化正确标签序列的概率，同时最小化错误标签序列的概率。损失函数选择负对数似然（NLL）：
Loss = − log ( P ( y ∣ x ) ) \text{Loss} = -\log(P(y|x)) Loss=−log(P(y∣x))
计算得分与Normalizer
- 得分计算：根据公式计算正确标签序列的得分，同时维护转移概率矩阵和开始、结束标签的概率。
- Normalizer计算：使用动态规划计算所有可能输出序列的得分，以提高效率，避免穷举法带来的高计算成本。
Viterbi算法
在解码阶段，使用Viterbi算法寻找最优的标签路径。动态规划方法记录每个Token的最佳标签，并通过回溯获得最终的预测序列。
CRF层构建
将前向训练逻辑和解码逻辑整合成CRF层，考虑到输入序列的真实长度，确保处理填充问题。输入参数包括发射概率矩阵、转移概率矩阵和序列长度。
BiLSTM+CRF模型
设计一个结合双向LSTM与CRF的模型架构来进行命名实体识别任务。模型流程如下：
- 嵌入层：将输入Token转化为向量表示。
- LSTM层：提取序列特征，双向LSTM能够捕获前后文信息。
- 全连接层：生成发射概率矩阵。
- CRF层：对发射概率进行标注，考虑Token间的依赖关系。
训练过程
- 数据准备：生成示例数据并构造词表和标签表。
- 模型实例化：选择优化器并将模型与优化器结合。
- Batch处理：将生成的数据打包为Batch，处理填充后进行模型训练。
- 可视化训练进程：使用工具监控训练过程，观察模型效果。
训练效果分析
在完成500个训练步骤后，利用模型预测可能的路径得分和候选序列。通过后处理函数对预测得分进行处理，最终将预测的索引序列转换为标签序列，打印输出结果以查看模型性能。
通过这些步骤，LSTM+CRF模型能够有效地进行序列标注，应用于多种文本处理任务，如命名实体识别、信息抽取等。