机器学习笔记:线性链条件随机场(CRF)

0 引入:以词性标注为例

  • 比如我们要对如下句子进行标注:
    • "小明一把把把把住了"
  • 那么我么可能有很多种词性标注的方法,中间四个"把",可以是"名词+名词+动词+名词",可以是"名词+动词+动词+名词"等多种形式。

那么,哪种标注序列最有可能是正确的呢?

  • 我们如果可以给每一个标注序列进行打分,打分越高的表示这个标注序列越靠谱,那么就会容易的多。打分最高的就是最可能的标注序列。

  • 对于标注序列问题,我们可以设计一组特征函数

    • (比如动词后面接动词,那么给他一个很负的分数;动词后面接名词,可以给0.8左右的分数之类)
    • 用这个特征函数集合来为一个标注序列打分,并据此选出最靠谱的标注序列
    • 也就是说,每一个特征函数都可以用来为一个标注序列评分
      • 把集合中所有特征函数对同一个标注序列的评分综合起来,就是这个标注序列最终的评分值

1 特征函数

  • 线性链CRF 中的特征函数接受四个参数:

    • 句子s(在前面的样例中是需要标注词性的句子)
    • i(句子s中第i个单词)
    • (要评分的标注序列给第i个单词标注的词性)
    • (要评分的标注序列给第i-1个单词标注的词性)
  • 定义好一组特征函数后,我们要给每个特征函数赋予一个权重

    • 对于一个句子s,和一种可能的标注序列l
    • 我们利用特征函数集对其评分
  • 对这个分数进行指数化和标准化,我们就可以得到选择标注序列l的概率值p(l|s)

    • 类似于softmax

2 和HMM的对比

机器学习笔记&Python笔记:HMM(隐马尔科夫模型)_UQI-LIUWJ的博客-CSDN博客

HMM可以看成一种特殊的线性链CRF

  • 我们考虑一个HMM
    • 状态集合(隐藏状态):
    • 观测集合(可见观测):
    • 初始化概率:,初始状态为的概率
    • 状态转移概率:
    • 观测转移概率:
  • 定义HMM观测序列的联合概率为:
  • 线性链CRF的概率
      • Z(O)是归一化常数(softmax的分母)
      • 是模型的权重参数
      • 是特征函数
        • 第一个式子相当于i*j个特征函数组成的集合
          • 每一个特征函数评价前一个隐藏状态是j,后一个隐藏状态是i的情况
        • 第二个式子相当于i个特征函数组成的集合
          • 当前时刻隐藏状态是i,观测状态是Ot的情况
  • 现在令
      • 那么
        • 进而等于 【只有时指示函数才为1,其余情况指示函数为0】
      • 那么
        • 进而等价于【只有,且观测值为时指示函数才为1,其余情况指示函数为0】
    • 所以
      • 这样也就把线性链CRF桥接到HMM中了
    • 所以HMM可以看成一种特殊情况的线性链CRF
      • CRF要比HMM更加强大
        • CRF可以定义数量更多,种类更丰富的特征函数
        • CRF可以使用任意的权重
          • 将对数HMM模型看做CRF时,特征函数的权重由于是log形式的概率,所以都是小于等于0的
          • 在CRF中,每个特征函数的权重可以是任意值
相关推荐
努力变厉害的小超超1 小时前
ArkTS中的组件基础、状态管理、样式处理、class语法以及界面渲染
笔记·鸿蒙
aloha_7896 小时前
从零记录搭建一个干净的mybatis环境
java·笔记·spring·spring cloud·maven·mybatis·springboot
dsywws7 小时前
Linux学习笔记之vim入门
linux·笔记·学习
A-超9 小时前
vue3展示pag格式动态图
笔记
u0101526589 小时前
STM32F103C8T6学习笔记2--LED流水灯与蜂鸣器
笔记·stm32·学习
weixin_5182850510 小时前
深度学习笔记10-多分类
人工智能·笔记·深度学习
丘狸尾10 小时前
ubuntu【桌面】 配置NAT模式固定IP
笔记
王俊山IT10 小时前
C++学习笔记----10、模块、头文件及各种主题(二)---- 预处理指令
开发语言·c++·笔记·学习
慕卿扬10 小时前
基于python的机器学习(二)—— 使用Scikit-learn库
笔记·python·学习·机器学习·scikit-learn
齐 飞12 小时前
MongoDB笔记02-MongoDB基本常用命令
前端·数据库·笔记·后端·mongodb