系列文章目录
第一章 规则和传统NLP之NLP概述
第二章 规则和传统NLP之NLP任务范式
第三章 规则和传统NLP之困难和挑战
第四章 NLP常见语料库
第五章 NLP(正向，逆向，双向匹配法分词及代码实现)
第六章 NLP(词性标注，jieba库实现)
命名实体识别NER
- 系列文章目录
- 命名实体识别（NER）
- 难点
- 方法
-
- [1. 基于规则的方法](#1. 基于规则的方法)
- [2. 基于统计的方法](#2. 基于统计的方法)
- [3. 基于深度学习的方法](#3. 基于深度学习的方法)
命名实体识别（NER）
命名实体识别是自然语言处理（NLP）中的一项重要任务，其目标是从文本中识别并分类出特定的实体，通常包括人名、地名、组织名、日期、时间、货币、百分比等。NER的核心任务是将文本中的这些实体进行标注，使其更易于分析和理解。
难点
- 没有明确的分词：中文文本没有空格分隔词语，这使得分词变得困难。命名实体通常由多个汉字组成，分词的准确性直接影响到实体的识别效果。
- 同名实体：在中文中，可能存在同名的实体（如"张三"可以指多个不同的人），需要上下文信息来判断具体指代哪个实体。
- 多义词：某些词语可能在不同上下文中具有不同的含义，增加了识别的复杂性。
- 新词识别：随着社会的发展，新的命名实体不断出现（如新兴公司、人物等），NER系统需要及时更新以识别这些新词。
- 专业术语：特定领域的命名实体（如医学、法律等）可能不在训练数据中，需要系统具备一定的领域适应能力。
方法
1. 基于规则的方法
- 通过手工定义的规则和词典来识别命名实体，通常使用正则表达式和语言学知识。
- 优点包括实现简单、速度快和可解释性强，但缺点是覆盖面有限，灵活性差，且需要较高的人工维护成本。
2. 基于统计的方法
- 使用统计模型（如隐马尔可夫模型）进行实体识别，依赖于标注数据进行训练。
- 其主要思想是基于人工标注的语料，将命名实体识别任务作为序列标注问题来解决。基于统计的方法对语料库的依赖比较大，而可以用来建设和评估命名实体识别系统的大规模通用语料库又比较少，这是该方法的一大制约。
3. 基于深度学习的方法
- 采用深度学习模型（如LSTM、BERT等）进行特征自动学习和实体识别，能够捕捉复杂的上下文信息。
- 虽然性能优越，但对计算资源和标注数据的需求较高，且模型的可解释性较差。