文章目录
- [Hidden Markov Models](#Hidden Markov Models)
-
- [Initial State Probabilities](#Initial State Probabilities)
- [Hidden state probabilities](#Hidden state probabilities)
- [Emission probabilities](#Emission probabilities)
- 参考
Hidden Markov Models
教材上给出了一个例子：
Initial State Probabilities
初始概率，举个例子：
Noun (N): 0.3
Verb (V): 0.2
Adjective (Adj): 0.5
Hidden state probabilities
| From/To | N | V | Adj |
|---|---|---|---|
| N | 0.1 | 0.6 | 0.3 |
| V | 0.4 | 0.1 | 0.5 |
| Adj | 0.7 | 0.2 | 0.1 |
"众所周知"的规律，比如一个形容词后面大概率跟着一个名词；
Emission probabilities
| Word | N | V | Adj |
|---|---|---|---|
| that | 0.1 | 0.1 | 0.8 |
| person | 0.8 | 0.1 | 0.1 |
| is | 0.1 | 0.8 | 0.1 |
| great | 0.1 | 0.1 | 0.8 |
| running | 0.1 | 0.8 | 0.1 |
比如that很大概率是一个形容词，有0.8这么大的概率；
开始计算，第一个单词是that，
- 它的初始概率如下：
Noun (N): 0.3
Verb (V): 0.2
Adjective (Adj): 0.5 - 发射概率如下：
Noun (N) : 0.1
Verb (V) : 0.2
Adjective (Adj) : 0.5 - 计算过程如下：
For Noun : 0.3 × 0.1 = 0.03 0.3 \times 0.1 = 0.03 0.3×0.1=0.03
For Verb : 0.2 × 0.1 = 0.02 0.2 \times 0.1 = 0.02 0.2×0.1=0.02
For Adjective : 0.5 × 0.8 = 0.4 0.5 \times 0.8 = 0.4 0.5×0.8=0.4
发现概率最大的是Adj，所以预测为Adj形容词；
接下来就可以继续接下里的过程，对接下来的每一个单词而言：
- 该单词的某个
tag的emission probability； - 从上一个被选择的
tag到当前被选择tag的transistion probability； - 将这些概率相乘，并且选择概率最高的
tag；
到达最后一个单词之后，再回头来处理；
假设That的tag是Adj，再寻找person的tag，
假设transition probabilities如下：
Adj -> N : 0.7,
Adj -> V : 0.2,
Adj -> Adj : 0.1，
person的emission probabilities：
N : 0.8,
V : 0.1,
Adj : 0.1,
相乘之后比较结果，预测为N的概率最大： 0.7 × 0.8 = 0.56 0.7 \times 0.8 = 0.56 0.7×0.8=0.56；