昇思25天学习打卡营第35天|自然语言处理-LSTM+CRF序列标注

昇思25天学习打卡营第35天|自然语言处理-LSTM+CRF序列标注

序列标注简介

序列标注指给定输入序列,给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取,包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。

条件随机场(Conditional Random Fields, CRF)

CRF 是一种强大的序列标注模型,通过直接建模条件概率,避免了生成模型中观测序列独立性假设的限制。它能够捕捉观测序列和标签序列之间的复杂依赖关系,尤其适用于自然语言处理等领域的序列标注任务。其工作过程包括特征函数定义、势函数计算、条件概率计算、训练和解码等步骤。

命名实体识别:CRF 被用于将每个词标注为不同类型的实体或非实体。

词性标注:CRF 可以根据词的上下文信息来准确地预测词性。

语音识别:CRF 可以用于将音素或特征序列映射到词序列。

词汇分割:CRF 可以用来识别词的边界。

掩码矩阵 (mask)

掩码矩阵通常是一个与输入序列相同维度的矩阵,其值为 0 或 1。1 表示对应位置是有效的 token,0 表示对应位置是填充值。

使用掩码矩阵是为了处理不同长度的序列,将多个序列打包为一个 batch 时对填充 (padding) 的部分进行忽略。这样可以确保模型计算时仅考虑有效的 token,而不是填充的无效部分,是处理不同长度序列的关键工具。

Normalizer计算

Normalizer是𝑥𝑥对应的所有可能的输出序列的Score的对数指数和(Log-Sum-Exp)。此时如果按穷举法进行计算,则需要将每个可能的输出序列Score都计算一遍,因此需要通过复用计算结果来提高效率。

Viterbi算法

通过递归地计算每个时间步的最优状态路径来找到整个序列的最优状态路径。其基本思想是通过最大化条件概率来找到最优的标签序列。

双向 LSTM

LSTM (Long Short-Term Memory) 是一种能够有效捕捉长距离依赖的递归神经网络(RNN)。

双向 LSTM 使用两个 LSTM 网络,一个从序列的左到右处理,另一个从右到左处理。这种设计使模型能够同时利用前向和后向的上下文信息,从而更全面地理解每个词的语境。

双向 LSTM + CRF 组合的优势

上下文信息和全局标签依赖:双向 LSTM 提供了丰富的上下文特征,而 CRF 通过建模标签之间的依赖关系,能够确保最终的标签序列符合语法和语义规则。

提高识别准确性:这种组合在训练时能够同时优化特征提取和标签序列建模,通常能显著提高 NER 的性能。

处理长距离依赖:LSTM 能够处理较长的上下文,而 CRF 能够处理标签之间的长距离依赖。

模型架构

text 复制代码
nn.Embedding -> nn.LSTM -> nn.Dense -> CRF  #其中LSTM提取序列特征,经过Dense层变换获得发射概率矩阵,最后送入CRF层。
相关推荐
秃头佛爷2 小时前
Python学习大纲总结及注意事项
开发语言·python·学习
dayouziei4 小时前
java的类加载机制的学习
java·学习
dsywws7 小时前
Linux学习笔记之vim入门
linux·笔记·学习
晨曦_子画8 小时前
3种最难学习和最容易学习的 3 种编程语言
学习
城南vision8 小时前
Docker学习—Docker核心概念总结
java·学习·docker
ctrey_9 小时前
2024-11-1 学习人工智能的Day20 openCV(2)
人工智能·opencv·学习
十年之少9 小时前
由中文乱码引来的一系列学习——Qt
学习
Jina AI9 小时前
RAG 系统的分块难题:小型语言模型如何找到最佳断点?
人工智能·语言模型·自然语言处理
-派神-9 小时前
大语言模型(LLM)量化基础知识(一)
人工智能·语言模型·自然语言处理
Elastic 中国社区官方博客9 小时前
释放专利力量:Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理