【NLP】文本预处理

文本处理的基本方法

---

分词器

1. 分词的意义

   （1）分词：把连续的字序列，按规范重新组合成词序列。

   （2）模型理解文本的最小单元一般是词语，词语是语义理解的基本单元。

   英文天然有空格分隔；中文需要寻找分词边界，完成切词。

2. jieba 三种分词模式
   

   （1）两个函数区别：
   a）lcut()：返回list 列表 ，一次性返回全部分词结果
   b）cut()： 返回生成器 generator ，惰性加载，节省内存，
   遍历的时候才生成词语

3. 自定义词典
   （1）作用：修改 jieba 分词策略，词典里的词语优先作为整体切分，不会被拆开。

4. 繁体字分词
   （1）jieba 可以直接对繁体中文分词，不需要额外配置

---

命名实体识别 NER

1. 命名实体：文本中的专有名词，如人名、地名、机构名、时间等。
2. NER（命名实体识别）：从一段文本中自动识别出命名实体。
3. 作用
   同词汇一样，命名实体也是人类理解文本的基础单元，
   也是AI解决NLP领域高阶任务的重要环节

---

考点小结