NLP入门之中文分词

文章目录

分词是一个被长期研究的任务,通过了解分词算法的发展,可以看到NLP的研究历程,分词是NLP中一类问题的代表,分词很常用,很多NLP任务建立在分词之上。目前分词切分的难点主要有歧义切分、新词、专有名词、改造词等。

正向最大匹配

实现方式(一)------滑动窗口

1.找出词表中最大词长度

2.从字符串开头开始选取最大词长度的窗口,检查窗口内的词是否在词表中

3.如果在词表中,在词边界处进行切分,之后移动到词边界处,重复步骤2

4.如果不在词表中,窗口右边界回退一个字符,之后检查窗口词是否在词表中

python 复制代码
def cut_method1(string, word_dict, max_len):
    words = []
    while string != '':
        lens = min(max_len, len(string))
        word = string[:lens]
        while word not in word_dict:
            if len(word) == 1:
                break
            word = word[:len(word) - 1]
        words.append(word)
        string = string[len(word):]
    return words

实现方式(二)------前缀字典

1.从前向后进行查找

2.如果窗口内的词是一个词前缀则继续扩大窗口

3.如果窗口内的词不是一个词前缀,则记录已发现的词,并将窗口移动到词边界
如下字典:

{

"北": 0,

"北京": 1,

"北京大": 0,

"北京大学": 1,

"北京大学生": 1,

"大": 0,

"大学": 0,

"大学生": 1

}

0代表不是一个词,但是是词的前缀,1代表是一个词。其实和滑动窗口类似,一字一字看,如果这个字在字典中为0,则继续看下一个字,改字组合为1,还要继续看,直到组合不在字典中,就将上个组合字切分,并更新窗口。

python 复制代码
def cut_method2(string, prefix_dict):
    if string == "":
        return []
    words = []  # 准备用于放入切好的词
    start_index, end_index = 0, 1  #记录窗口的起始位置
    window = string[start_index:end_index] #从第一个字开始
    find_word = window  # 将第一个字先当做默认词
    while start_index < len(string):
        #窗口没有在词典里出现
        if window not in prefix_dict or end_index > len(string):
            words.append(find_word)  #记录找到的词
            start_index += len(find_word)  #更新起点的位置
            end_index = start_index + 1
            window = string[start_index:end_index]  #从新的位置开始一个字一个字向后找
            find_word = window
        #窗口是一个词
        elif prefix_dict[window] == 1:
            find_word = window  #查找到了一个词,还要在看有没有比他更长的词
            end_index += 1
            window = string[start_index:end_index]
        #窗口是一个前缀
        elif prefix_dict[window] == 0:
            end_index += 1
            window = string[start_index:end_index]
    #最后找到的window如果不在词典里,把单独的字加入切词结果
    if prefix_dict.get(window) != 1:
        words += list(window)
    else:
        words.append(window)
    return words

对比两种实现方式,滑动窗口更占用时间,前缀字典更占用内存。

反向最大匹配

反向最大匹配就是滑动窗口从后往前,方法与上两种类似。

北京大学生前来报到

正向匹配: 北京大学 / 生前 / 来 / 报到

反向匹配: 北京 / 大学生 / 前来 / 报到

不同的匹配方式在不同的例句中有不同的效果,有些使用正向匹配好,有些使用反向匹配好。

双向最大匹配

能不能结合正向匹配与反向匹配?

同时进行正向最大切分,和负向最大切分,之后比较两者结果,决定切分方式。

如何比较?

1.单字词

词表中可以有单字,从分词的角度,我们也会把它称为一个词

2.非字典词

未在词表中出现过的词,一般都会被分成单字

3.词总量

不同切分方法得到的词数可能不同

正向最大切分,负向最大切分,双向最大切分共同的缺点:

1.对词表极为依赖,如果没有词表,则无法进行;如果词表中缺少需要的词,结果也不会正确

2.切分过程中不会关注整个句子表达的意思,只会将句子看成一个个片段

3.如果文本中出现一定的错别字,会造成一连串影响

4.对于人名等的无法枚举实体词无法有效的处理

jieba分词

jieba第三方库会把一句话的所有可能的切分方式切出来,然后计算哪种切分方式总词频最高(词频事先根据分词后语料统计出来),就是哪种切分方式。

相关推荐
LZXCyrus4 分钟前
【杂记】vLLM如何指定GPU单卡/多卡离线推理
人工智能·经验分享·python·深度学习·语言模型·llm·vllm
Enougme7 分钟前
Appium常用的使用方法(一)
python·appium
懷淰メ12 分钟前
PyQt飞机大战游戏(附下载地址)
开发语言·python·qt·游戏·pyqt·游戏开发·pyqt5
hummhumm26 分钟前
第 22 章 - Go语言 测试与基准测试
java·大数据·开发语言·前端·python·golang·log4j
hummhumm43 分钟前
第 28 章 - Go语言 Web 开发入门
java·开发语言·前端·python·sql·golang·前端框架
幻风_huanfeng1 小时前
人工智能之数学基础:线性代数在人工智能中的地位
人工智能·深度学习·神经网络·线性代数·机器学习·自然语言处理
每天吃饭的羊1 小时前
python里的数据结构
开发语言·python
卡卡_R-Python1 小时前
UCI Heart Disease Data Set—— UCI 心脏病数据集介绍
python·plotly·django·virtualenv·pygame
饮长安千年月1 小时前
浅谈就如何解出Reverse-迷宫题之老鼠走迷宫的一些思考
python·网络安全·逆向·ctf
好看资源平台1 小时前
网络爬虫——爬虫项目案例
爬虫·python