机器学习笔记:线性链条件随机场(CRF)

0 引入:以词性标注为例

  • 比如我们要对如下句子进行标注:
    • "小明一把把把把住了"
  • 那么我么可能有很多种词性标注的方法,中间四个"把",可以是"名词+名词+动词+名词",可以是"名词+动词+动词+名词"等多种形式。

那么,哪种标注序列最有可能是正确的呢?

  • 我们如果可以给每一个标注序列进行打分,打分越高的表示这个标注序列越靠谱,那么就会容易的多。打分最高的就是最可能的标注序列。

  • 对于标注序列问题,我们可以设计一组特征函数

    • (比如动词后面接动词,那么给他一个很负的分数;动词后面接名词,可以给0.8左右的分数之类)
    • 用这个特征函数集合来为一个标注序列打分,并据此选出最靠谱的标注序列
    • 也就是说,每一个特征函数都可以用来为一个标注序列评分
      • 把集合中所有特征函数对同一个标注序列的评分综合起来,就是这个标注序列最终的评分值

1 特征函数

  • 线性链CRF 中的特征函数接受四个参数:

    • 句子s(在前面的样例中是需要标注词性的句子)
    • i(句子s中第i个单词)
    • (要评分的标注序列给第i个单词标注的词性)
    • (要评分的标注序列给第i-1个单词标注的词性)
  • 定义好一组特征函数后,我们要给每个特征函数赋予一个权重

    • 对于一个句子s,和一种可能的标注序列l
    • 我们利用特征函数集对其评分
  • 对这个分数进行指数化和标准化,我们就可以得到选择标注序列l的概率值p(l|s)

    • 类似于softmax

2 和HMM的对比

机器学习笔记&Python笔记:HMM(隐马尔科夫模型)_UQI-LIUWJ的博客-CSDN博客

HMM可以看成一种特殊的线性链CRF

  • 我们考虑一个HMM
    • 状态集合(隐藏状态):
    • 观测集合(可见观测):
    • 初始化概率:,初始状态为的概率
    • 状态转移概率:
    • 观测转移概率:
  • 定义HMM观测序列的联合概率为:
  • 线性链CRF的概率
      • Z(O)是归一化常数(softmax的分母)
      • 是模型的权重参数
      • 是特征函数
        • 第一个式子相当于i*j个特征函数组成的集合
          • 每一个特征函数评价前一个隐藏状态是j,后一个隐藏状态是i的情况
        • 第二个式子相当于i个特征函数组成的集合
          • 当前时刻隐藏状态是i,观测状态是Ot的情况
  • 现在令
      • 那么
        • 进而等于 【只有时指示函数才为1,其余情况指示函数为0】
      • 那么
        • 进而等价于【只有,且观测值为时指示函数才为1,其余情况指示函数为0】
    • 所以
      • 这样也就把线性链CRF桥接到HMM中了
    • 所以HMM可以看成一种特殊情况的线性链CRF
      • CRF要比HMM更加强大
        • CRF可以定义数量更多,种类更丰富的特征函数
        • CRF可以使用任意的权重
          • 将对数HMM模型看做CRF时,特征函数的权重由于是log形式的概率,所以都是小于等于0的
          • 在CRF中,每个特征函数的权重可以是任意值
相关推荐
吴梓穆17 小时前
UE5学习笔记 FPS游戏制作38 继承标准UI
笔记·学习·ue5
V---scwantop---信18 小时前
英文字体:大胆都市街头Y2Y涂鸦风格品牌海报专辑封面服装字体 Chrome TM – Graffiti Font
笔记·字体
Moonnnn.18 小时前
运算放大器(四)滤波电路(滤波器)
笔记·学习·硬件工程
吴梓穆19 小时前
UE5学习笔记 FPS游戏制作37 蓝图函数库 自己定义公共方法
笔记·学习·ue5
吴梓穆19 小时前
UE5学习笔记 FPS游戏制作41 世界模式显示UI
笔记·学习·ue5
s_little_monster19 小时前
【Linux】进程信号的捕捉处理
linux·运维·服务器·经验分享·笔记·学习·学习方法
RedMery20 小时前
论文阅读笔记:Denoising Diffusion Implicit Models (4)
论文阅读·笔记
go_bai20 小时前
Linux环境基础开发工具——(2)vim
linux·开发语言·经验分享·笔记·vim·学习方法
吴梓穆21 小时前
UE5学习笔记 FPS游戏制作35 使用.csv配置文件
笔记·学习·ue5
100分题库小程序21 小时前
2025年机动车授权签字人考试判断题分享
经验分享·笔记