文章目录
分词是一个被长期研究的任务，通过了解分词算法的发展，可以看到NLP的研究历程,分词是NLP中一类问题的代表,分词很常用，很多NLP任务建立在分词之上。目前分词切分的难点主要有歧义切分、新词、专有名词、改造词等。
正向最大匹配
实现方式（一）------滑动窗口
1.找出词表中最大词长度
2.从字符串开头开始选取最大词长度的窗口，检查窗口内的词是否在词表中
3.如果在词表中，在词边界处进行切分，之后移动到词边界处，重复步骤2
4.如果不在词表中，窗口右边界回退一个字符，之后检查窗口词是否在词表中
python
def cut_method1(string, word_dict, max_len):
words = []
while string != '':
lens = min(max_len, len(string))
word = string[:lens]
while word not in word_dict:
if len(word) == 1:
break
word = word[:len(word) - 1]
words.append(word)
string = string[len(word):]
return words实现方式（二）------前缀字典
1.从前向后进行查找
2.如果窗口内的词是一个词前缀则继续扩大窗口
3.如果窗口内的词不是一个词前缀，则记录已发现的词，并将窗口移动到词边界
如下字典：
{
"北": 0,
"北京": 1,
"北京大": 0,
"北京大学": 1,
"北京大学生": 1,
"大": 0,
"大学": 0,
"大学生": 1
}
0代表不是一个词，但是是词的前缀，1代表是一个词。其实和滑动窗口类似，一字一字看，如果这个字在字典中为0，则继续看下一个字，改字组合为1，还要继续看，直到组合不在字典中，就将上个组合字切分，并更新窗口。
python
def cut_method2(string, prefix_dict):
if string == "":
return []
words = [] # 准备用于放入切好的词
start_index, end_index = 0, 1 #记录窗口的起始位置
window = string[start_index:end_index] #从第一个字开始
find_word = window # 将第一个字先当做默认词
while start_index < len(string):
#窗口没有在词典里出现
if window not in prefix_dict or end_index > len(string):
words.append(find_word) #记录找到的词
start_index += len(find_word) #更新起点的位置
end_index = start_index + 1
window = string[start_index:end_index] #从新的位置开始一个字一个字向后找
find_word = window
#窗口是一个词
elif prefix_dict[window] == 1:
find_word = window #查找到了一个词，还要在看有没有比他更长的词
end_index += 1
window = string[start_index:end_index]
#窗口是一个前缀
elif prefix_dict[window] == 0:
end_index += 1
window = string[start_index:end_index]
#最后找到的window如果不在词典里，把单独的字加入切词结果
if prefix_dict.get(window) != 1:
words += list(window)
else:
words.append(window)
return words对比两种实现方式，滑动窗口更占用时间，前缀字典更占用内存。
反向最大匹配
反向最大匹配就是滑动窗口从后往前，方法与上两种类似。
北京大学生前来报到
正向匹配： 北京大学 / 生前 / 来 / 报到
反向匹配： 北京 / 大学生 / 前来 / 报到
不同的匹配方式在不同的例句中有不同的效果，有些使用正向匹配好，有些使用反向匹配好。
双向最大匹配
能不能结合正向匹配与反向匹配？
同时进行正向最大切分，和负向最大切分，之后比较两者结果，决定切分方式。
如何比较？
1.单字词
词表中可以有单字，从分词的角度，我们也会把它称为一个词
2.非字典词
未在词表中出现过的词，一般都会被分成单字
3.词总量
不同切分方法得到的词数可能不同
正向最大切分，负向最大切分，双向最大切分共同的缺点：
1.对词表极为依赖，如果没有词表，则无法进行；如果词表中缺少需要的词，结果也不会正确
2.切分过程中不会关注整个句子表达的意思，只会将句子看成一个个片段
3.如果文本中出现一定的错别字，会造成一连串影响
4.对于人名等的无法枚举实体词无法有效的处理
jieba分词
jieba第三方库会把一句话的所有可能的切分方式切出来，然后计算哪种切分方式总词频最高（词频事先根据分词后语料统计出来），就是哪种切分方式。