机器学习笔记:线性链条件随机场(CRF)

0 引入:以词性标注为例

  • 比如我们要对如下句子进行标注:
    • "小明一把把把把住了"
  • 那么我么可能有很多种词性标注的方法,中间四个"把",可以是"名词+名词+动词+名词",可以是"名词+动词+动词+名词"等多种形式。

那么,哪种标注序列最有可能是正确的呢?

  • 我们如果可以给每一个标注序列进行打分,打分越高的表示这个标注序列越靠谱,那么就会容易的多。打分最高的就是最可能的标注序列。

  • 对于标注序列问题,我们可以设计一组特征函数

    • (比如动词后面接动词,那么给他一个很负的分数;动词后面接名词,可以给0.8左右的分数之类)
    • 用这个特征函数集合来为一个标注序列打分,并据此选出最靠谱的标注序列
    • 也就是说,每一个特征函数都可以用来为一个标注序列评分
      • 把集合中所有特征函数对同一个标注序列的评分综合起来,就是这个标注序列最终的评分值

1 特征函数

  • 线性链CRF 中的特征函数接受四个参数:

    • 句子s(在前面的样例中是需要标注词性的句子)
    • i(句子s中第i个单词)
    • (要评分的标注序列给第i个单词标注的词性)
    • (要评分的标注序列给第i-1个单词标注的词性)
  • 定义好一组特征函数后,我们要给每个特征函数赋予一个权重

    • 对于一个句子s,和一种可能的标注序列l
    • 我们利用特征函数集对其评分
  • 对这个分数进行指数化和标准化,我们就可以得到选择标注序列l的概率值p(l|s)

    • 类似于softmax

2 和HMM的对比

机器学习笔记&Python笔记:HMM(隐马尔科夫模型)_UQI-LIUWJ的博客-CSDN博客

HMM可以看成一种特殊的线性链CRF

  • 我们考虑一个HMM
    • 状态集合(隐藏状态):
    • 观测集合(可见观测):
    • 初始化概率:,初始状态为的概率
    • 状态转移概率:
    • 观测转移概率:
  • 定义HMM观测序列的联合概率为:
  • 线性链CRF的概率
      • Z(O)是归一化常数(softmax的分母)
      • 是模型的权重参数
      • 是特征函数
        • 第一个式子相当于i*j个特征函数组成的集合
          • 每一个特征函数评价前一个隐藏状态是j,后一个隐藏状态是i的情况
        • 第二个式子相当于i个特征函数组成的集合
          • 当前时刻隐藏状态是i,观测状态是Ot的情况
  • 现在令
      • 那么
        • 进而等于 【只有时指示函数才为1,其余情况指示函数为0】
      • 那么
        • 进而等价于【只有,且观测值为时指示函数才为1,其余情况指示函数为0】
    • 所以
      • 这样也就把线性链CRF桥接到HMM中了
    • 所以HMM可以看成一种特殊情况的线性链CRF
      • CRF要比HMM更加强大
        • CRF可以定义数量更多,种类更丰富的特征函数
        • CRF可以使用任意的权重
          • 将对数HMM模型看做CRF时,特征函数的权重由于是log形式的概率,所以都是小于等于0的
          • 在CRF中,每个特征函数的权重可以是任意值
相关推荐
冰帝海岸4 小时前
01-spring security认证笔记
java·笔记·spring
小二·5 小时前
java基础面试题笔记(基础篇)
java·笔记·python
wusong9998 小时前
mongoDB回顾笔记(一)
数据库·笔记·mongodb
猫爪笔记8 小时前
前端:HTML (学习笔记)【1】
前端·笔记·学习·html
Resurgence038 小时前
【计组笔记】习题
笔记
pq113_68 小时前
ftdi_sio应用学习笔记 3 - GPIO
笔记·学习·ftdi_sio
爱米的前端小笔记9 小时前
前端八股自学笔记分享—页面布局(二)
前端·笔记·学习·面试·求职招聘
寒笙LED11 小时前
C++详细笔记(六)string库
开发语言·c++·笔记
岳不谢12 小时前
VPN技术-VPN简介学习笔记
网络·笔记·学习·华为
红色的山茶花14 小时前
YOLOv8-ultralytics-8.2.103部分代码阅读笔记-block.py
笔记·深度学习·yolo