文章目录
分词是一个被长期研究的任务,通过了解分词算法的发展,可以看到NLP的研究历程,分词是NLP中一类问题的代表,分词很常用,很多NLP任务建立在分词之上。目前分词切分的难点主要有歧义切分、新词、专有名词、改造词等。
正向最大匹配
实现方式(一)------滑动窗口
1.找出词表中最大词长度
2.从字符串开头开始选取最大词长度的窗口,检查窗口内的词是否在词表中
3.如果在词表中,在词边界处进行切分,之后移动到词边界处,重复步骤2
4.如果不在词表中,窗口右边界回退一个字符,之后检查窗口词是否在词表中
python
def cut_method1(string, word_dict, max_len):
words = []
while string != '':
lens = min(max_len, len(string))
word = string[:lens]
while word not in word_dict:
if len(word) == 1:
break
word = word[:len(word) - 1]
words.append(word)
string = string[len(word):]
return words
实现方式(二)------前缀字典
1.从前向后进行查找
2.如果窗口内的词是一个词前缀则继续扩大窗口
3.如果窗口内的词不是一个词前缀,则记录已发现的词,并将窗口移动到词边界
如下字典:
{
"北": 0,
"北京": 1,
"北京大": 0,
"北京大学": 1,
"北京大学生": 1,
"大": 0,
"大学": 0,
"大学生": 1
}
0代表不是一个词,但是是词的前缀,1代表是一个词。其实和滑动窗口类似,一字一字看,如果这个字在字典中为0,则继续看下一个字,改字组合为1,还要继续看,直到组合不在字典中,就将上个组合字切分,并更新窗口。
python
def cut_method2(string, prefix_dict):
if string == "":
return []
words = [] # 准备用于放入切好的词
start_index, end_index = 0, 1 #记录窗口的起始位置
window = string[start_index:end_index] #从第一个字开始
find_word = window # 将第一个字先当做默认词
while start_index < len(string):
#窗口没有在词典里出现
if window not in prefix_dict or end_index > len(string):
words.append(find_word) #记录找到的词
start_index += len(find_word) #更新起点的位置
end_index = start_index + 1
window = string[start_index:end_index] #从新的位置开始一个字一个字向后找
find_word = window
#窗口是一个词
elif prefix_dict[window] == 1:
find_word = window #查找到了一个词,还要在看有没有比他更长的词
end_index += 1
window = string[start_index:end_index]
#窗口是一个前缀
elif prefix_dict[window] == 0:
end_index += 1
window = string[start_index:end_index]
#最后找到的window如果不在词典里,把单独的字加入切词结果
if prefix_dict.get(window) != 1:
words += list(window)
else:
words.append(window)
return words
对比两种实现方式,滑动窗口更占用时间,前缀字典更占用内存。
反向最大匹配
反向最大匹配就是滑动窗口从后往前,方法与上两种类似。
北京大学生前来报到
正向匹配: 北京大学 / 生前 / 来 / 报到
反向匹配: 北京 / 大学生 / 前来 / 报到
不同的匹配方式在不同的例句中有不同的效果,有些使用正向匹配好,有些使用反向匹配好。
双向最大匹配
能不能结合正向匹配与反向匹配?
同时进行正向最大切分,和负向最大切分,之后比较两者结果,决定切分方式。
如何比较?
1.单字词
词表中可以有单字,从分词的角度,我们也会把它称为一个词
2.非字典词
未在词表中出现过的词,一般都会被分成单字
3.词总量
不同切分方法得到的词数可能不同
正向最大切分,负向最大切分,双向最大切分共同的缺点:
1.对词表极为依赖,如果没有词表,则无法进行;如果词表中缺少需要的词,结果也不会正确
2.切分过程中不会关注整个句子表达的意思,只会将句子看成一个个片段
3.如果文本中出现一定的错别字,会造成一连串影响
4.对于人名等的无法枚举实体词无法有效的处理
jieba分词
jieba第三方库会把一句话的所有可能的切分方式切出来,然后计算哪种切分方式总词频最高(词频事先根据分词后语料统计出来),就是哪种切分方式。