文本预处理——文本处理的基本方法

目录

• 什么是分词
• jieba分词特性
• • 精确模式分词
  • 全模式分词
  • 搜索引擎模式分词
  • 使用用户自定义词典
• 命名实体识别
• 词性标注

什么是分词

jieba分词特性

精确模式分词

import jieba
content='工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作'
print(jieba.lcut(content,cut_all=False))

全模式分词

import jieba
content='工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作'
print(jieba.lcut(content,cut_all=True))

搜索引擎模式分词

import jieba
content='工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作'
print(jieba.lcut_for_search(content))

使用用户自定义词典

命名实体识别

词性标注

import jieba.posseg as pseg
pseg.lcut('我爱北京天安门')