0 引入:以词性标注为例
- 比如我们要对如下句子进行标注:
- "小明一把把把把住了"
- 那么我么可能有很多种词性标注的方法,中间四个"把",可以是"名词+名词+动词+名词",可以是"名词+动词+动词+名词"等多种形式。
那么,哪种标注序列最有可能是正确的呢?
-
我们如果可以给每一个标注序列进行打分,打分越高的表示这个标注序列越靠谱,那么就会容易的多。打分最高的就是最可能的标注序列。
-
对于标注序列问题,我们可以设计一组特征函数
- (比如动词后面接动词,那么给他一个很负的分数;动词后面接名词,可以给0.8左右的分数之类)
- 用这个特征函数集合来为一个标注序列打分,并据此选出最靠谱的标注序列
- 也就是说,每一个特征函数都可以用来为一个标注序列评分
- 把集合中所有特征函数对同一个标注序列的评分综合起来,就是这个标注序列最终的评分值
1 特征函数
-
线性链CRF 中的特征函数接受四个参数:
- 句子s(在前面的样例中是需要标注词性的句子)
- i(句子s中第i个单词)
- (要评分的标注序列给第i个单词标注的词性)
- (要评分的标注序列给第i-1个单词标注的词性)
-
定义好一组特征函数后,我们要给每个特征函数赋予一个权重
- 对于一个句子s,和一种可能的标注序列l
- 我们利用特征函数集对其评分
-
对这个分数进行指数化和标准化,我们就可以得到选择标注序列l的概率值p(l|s)
- 类似于softmax
2 和HMM的对比
机器学习笔记&Python笔记:HMM(隐马尔科夫模型)_UQI-LIUWJ的博客-CSDN博客
HMM可以看成一种特殊的线性链CRF
- 我们考虑一个HMM
- 状态集合(隐藏状态):
- 观测集合(可见观测):
- 初始化概率:,初始状态为的概率
- 状态转移概率:
- 观测转移概率:
- 定义HMM观测序列的联合概率为:
- 线性链CRF的概率
-
- Z(O)是归一化常数(softmax的分母)
- 是模型的权重参数
- 是特征函数
- 第一个式子相当于i*j个特征函数组成的集合
- 每一个特征函数评价前一个隐藏状态是j,后一个隐藏状态是i的情况
- 第二个式子相当于i个特征函数组成的集合
- 当前时刻隐藏状态是i,观测状态是Ot的情况
- 第一个式子相当于i*j个特征函数组成的集合
-
- 现在令
-
- 那么
- 进而等于 【只有时指示函数才为1,其余情况指示函数为0】
- 那么
-
- 那么
- 进而等价于【只有,且观测值为时指示函数才为1,其余情况指示函数为0】
- 那么
- 所以
- 这样也就把线性链CRF桥接到HMM中了
- 所以HMM可以看成一种特殊情况的线性链CRF
- CRF要比HMM更加强大
- CRF可以定义数量更多,种类更丰富的特征函数
- CRF可以使用任意的权重
- 将对数HMM模型看做CRF时,特征函数的权重由于是log形式的概率,所以都是小于等于0的
- 在CRF中,每个特征函数的权重可以是任意值
- CRF要比HMM更加强大
-