Elasticsearch文本分析器

1. 前言

Elasticsearch数据搜索和关系型数据库的SQL查询最显著的区别就是：除了精准匹配和模糊查询，Elasticsearch还具备全文检索的能力，而全文检索的核心是文本分析。

文本分析会将长文本内容进行字符过滤和细粒度的分词，先将长文本里面一些无关紧要的字符给过滤掉，再按照语义将长文本切分为一个个单独的词，然后可能还会根据切分后的词再添加一些同义词，最终构建倒排索引用于全文检索 。

文本分析使得Elasticsearch能够执行全文检索召回相关的文档，而不仅仅是是精准匹配。如下示例，当用户搜索"苹果"二字，召回下面三个文档在ES看来都是合理的：

{
  "_id":"1",
  "text":"什么品种的苹果更好吃呢？"
}
{
  "_id":"2",
  "text":"Apple Store上海静安店今日开业！"
}
{
  "_id":"3",
  "text":"番茄是水果还是蔬菜？"
}

1号文档召回是因为直接有"苹果"二字、2号文档召回可以理解为"Apple"和"苹果"是同义词、3号文档召回有点意外，如果分词的粒度很细就会导致"果"字被切分为一个单独的词，从而和搜索词匹配成功。

全文检索时，如果Elasticsearch没有召回预期的文档，就应该检查一下文本分析器的配置是否合理。

2. 分析器的构成

Elasticsearch规定，文本分析器由三个基本组件构成，分别是：

• 0个或多个字符过滤器 character filters
• 一个分词器 tokenizer
• 0个或多个分词过滤器 token filters

2.1 字符过滤器

字符过滤器接收作为字符流的原始文本，并可以通过添加、删除或更改字符来转换该流。简单来说，就是字符过滤器可以在原始文本的基础上，做一些字符过滤、删除、替换等操作，在分词前做一些预处理的工作。

例如，字符过滤器可以把"&"符号替换成"and"、也可以去除HTML中的标签，保留文本内容。

Elasticsearch内置了三种字符过滤器，下面分别介绍。

html_strip 用于过滤HTML元素标签，如下示例，结果自动过滤掉了

和标签

POST _analyze
{
  "char_filter": [
    {
      "type": "html_strip"
    }
  ],
  "text": "<p><b>听我说</b>谢谢你，因为有你</p>"
}

{
  "tokens": [
    {
      "token": """
听我说谢谢你，因为有你
""",
      "start_offset": 0,
      "end_offset": 25,
      "type": "word",
      "position": 0
    }
  ]
}

mapping 用于替换字符，给定一个mappings数组，Elasticsearch扫描原始文本时每当遇到相同的Key就会替换成指定的Value。如下示例：

POST _analyze
{
  "char_filter": [
    {
      "type": "mapping",
      "mappings": [
        "& => 和",
        ":) => 开心",
        ":( => 悲伤"
      ]
    }
  ],
  "text": "我&你独自:)，独自:("
}

{
  "tokens": [
    {
      "token": "我和你独自开心，独自悲伤",
      "start_offset": 0,
      "end_offset": 12,
      "type": "word",
      "position": 0
    }
  ]
}

pattern_replace 使用正则表达式来匹配和替换字符，比如可以给重要信息如身份证号脱敏：

POST _analyze
{
  "char_filter": [
    {
      "type": "pattern_replace",
      "pattern":"(\\d{6})\\d{8}(\\d{4})",
      "replacement":"$1******$2"
    }
  ],
  "text": "The ID number is:362330199001012345"
}

{
  "tokens": [
    {
      "token": "The ID number is:362330******2345",
      "start_offset": 0,
      "end_offset": 35,
      "type": "word",
      "position": 0
    }
  ]
}

2.2 分词器

分词器接收一个被字符过滤器预处理后的字符流作为输入，它是文本分析最重要的一个环节，直接决定了一段长文本会按照怎样的算法来切分成一个个分词。

除了切分文本，分词器还会保留以下信息：

• 每个分词的相对位置，用于短语搜索和单词临近搜索
• 字符偏移量，记录分词在原始文本中的出现的位置
• 分词类型，记录分词的种类，是单词还是数字等

Elasticsearch 内置了大量的面向单词的分词器

以 standard 为例，它也是默认的分词器。它会按照Unicode文本分割算法定义的词边界将文本划分为术语，并且删除了大多数标点符号。对于英文，它会按照空格来分词；对于中文，它会按照一个个汉字来分词。

如下示例，对于英文分词效果还行，针对中文效果就不好了，切分成一个个汉字丢失了词意。

POST _analyze
{
  "tokenizer":"standard",
  "text": "I am from China.我爱中国"
}

分词结果
["I","am","from","China","我","爱","中","国"]

Elasticsearch 还内置了一些比较特殊的分词器：N-Gram Tokenizer，也叫 N元语法分词器。它会将单词分解成更小的片段，用于部分单词匹配，缺点是分词数量太多，占用更多的存储空间。

POST _analyze
{
  "tokenizer":{
    "type":"ngram",
    "min_gram":2, // 分词最小长度
    "max_gram":3, // 分词最大长度
    "token_chars":["letter"] // 只切分字母
  },
  "text": "Elasticsearch 666"
}

分词结果
["se","sea","ea","ear","ar","arc","rc","rch","ch"]

此外，Elasticsearch还内置了一些用于结构化文本的分词器，比如：keyword 是一个什么也不做的分词器，它的分词结果就是原始文本。

char_group 分词器会根据给定的字符集对原始文本做切分，它比正则表达式的效率要高，适用于分词规则简单的场景。

POST _analyze
{
  "tokenizer":{
    "type":"char_group",
    "tokenize_on_chars":["_"]
  },
  "text": "I_am_from_China"
}

分词结果
["I","am","from","China"]

再比如，path_hierarchy 会按照路径分隔符做分词，并输出每个子路径的分词结果。如下示例：

POST _analyze
{
  "tokenizer":{
    "type":"path_hierarchy"
  },
  "text": "/users/admin/a.txt"
}

分词结果
["/users","/users/admin","/users/admin/a.txt"]

2.3 分词过滤器

分词过滤器接收来自分词器切分后的文本作为输入，并做最后处理。包括：改写词（转换大小写）、删除停用词、添加同义词等操作。

截止Elasticsearch8.13版本，官方内置了几十种分词过滤器，这里只介绍几个，其它参考官方文档。

apostrophe 分词过滤器会删除撇号后面的所有字符，包括撇号本身，适用于土耳其语。如下示例：

POST _analyze
{
  "tokenizer":"standard",
  "filter":["apostrophe"],
  "text": "I'm 18 years old now"
}

分词结果
["I","18","years","old","now"]

reverse 分词过滤器会反转切分后的每个词，这对于后缀检索非常有用。如下示例：

POST _analyze
{
  "tokenizer":"standard",
  "filter":["reverse"],
  "text": "hello world"
}

分词结果
["olleh","dlrow"]

stemmer 分词过滤器会根据分词的单词去掉复数、时态等，统一转换成对应的原型，这在英文搜索时非常有用。如下示例：

POST _analyze
{
  "tokenizer":"standard",
  "filter":["stemmer"],
  "text": "they flying peoples"
}

分词结果
["thei","fly","peopl"]

stop 分词过滤器器会删除分词中无意义的停用词，比如冠词、介词等，还可以自定义停用词黑名单。

如下示例，过滤后只保留了"apple"

POST _analyze
{
  "tokenizer":"standard",
  "filter":["stop"],
  "text": "this is an apple"
}

分词结果
["apple"]

3. 自定义分析器

Elasticsearch规定，任何分析器都由0个或多个字符过滤器、1个分词器、0个或多个分词过滤器组成，官方内置了大量的基础组件，同时又基于这些基础组件定义了一堆内置的分析器。如果这些内置分析器不能够满足我们的需求，我们也可以任意搭配组合定制化一个分析器。

假设，我们现在创建一个questions索引，用来索引问题，然后可以根据关键词搜索问题。question字段使用text类型，同时使用我们自定义的文本分析器my_analyzer。

假设自定义的文本分析器需要满足下列需求：

• 自动过滤掉文本中的标点符号
• 简单点，针对"/"符号来做分词吧
• 自动过滤掉一些无意义的停用词，例如："的"、"啊"
• 使用同义词也能搜索到文档，例如搜索"Android"可以召回含"安卓"的文档

基于以上需求，我们可以先从字符过滤器、分词器、分词过滤器的顺序来慢慢调试我们的分析器。这里可以用到Elasticsearch提供的「_analyze」端点，它可以很方便的用来测试分析器的效果。

过滤标点符号可以用"mapping"实现，分词就用"char_group"，删除停用词用"stop"，最后同义词可以用"synonym"实现，最终自定义分析器的配置如下：

POST _analyze
{
  "char_filter": [
    {
      "type": "mapping",
      "mappings": [
        "， => ",
        "。 => ",
        "？ => "
      ]
    }
  ],
  "tokenizer": {
    "type": "char_group",
    "tokenize_on_chars": ["/"]
  },
  "filter":[
    {
      "type":"stop",
      "stopwords":["的","呢","和"]
    },
    {
      "type":"synonym",
      "synonyms":[
        "安卓 => 安卓,Android",
        "鸿蒙 => 鸿蒙,HarmonyOS,OpenHarmony"
      ]
    }
  ],
  "text": "鸿蒙/系统/和/安卓/系统/有/什么/区别/呢/？"
}

测试一下，分词结果如下所示，符合我们的需求：

["鸿蒙","HarmonyOS","OpenHarmony","系统","安卓","Android","系统","有","什么","区别"]

接下来就是创建索引时，指定我们自定义的分析器即可：

PUT questions
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "char_filter": [
            "my_char_filter"
          ],
          "tokenizer": "my_char_group",
          "filter": [
            "stop_filter",
            "synonym_filter"
          ]
        }
      },
      "char_filter": {
        "my_char_filter": {
          "type": "mapping",
          "mappings": [
            "， => ",
            "。 => ",
            "？ => "
          ]
        }
      },
      "tokenizer": {
        "my_char_group": {
          "type": "char_group",
          "tokenize_on_chars": [
            "/"
          ]
        }
      },
      "filter": {
        "stop_filter": {
          "type": "stop",
          "stopwords": [
            "的",
            "呢",
            "和"
          ]
        },
        "synonym_filter": {
          "type": "synonym",
          "synonyms": [
            "安卓 => 安卓,Android",
            "鸿蒙 => 鸿蒙,HarmonyOS,OpenHarmony"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "question": {
        "type": "text",
        "analyzer": "my_analyzer",
        "search_analyzer": "my_analyzer"
      }
    }
  }
}

索引一篇文档

POST questions/_doc
{
  "question":"鸿蒙/系统/和/安卓/系统/有/什么/区别/呢/？"
}

搜索"Android"，发现成功召回了预期的文档

GET questions/_search
{
  "query": {
    "match": {
      "question": "Android"
    }
  }
}

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 0.32792777,
    "hits": [
      {
        "_index": "questions",
        "_id": "y-SQx44BPIYet_3fDf9T",
        "_score": 0.32792777,
        "_source": {
          "question": "鸿蒙/系统/和/安卓/系统/有/什么/区别/呢/？"
        }
      }
    ]
  }
}

4. IK中文分析器

无论是Elasticsearch官方提供的分析器，还是我们自定义的分析器，都很难对中文内容有很好的分词效果，把一段中文切分成孤立的汉字会丢失语义。所以，我们需要一款针对中文的文本分析器，这里推荐 IK Analysis。

IK分析器需要单独安装，进入到Github页面：https://github.com/infinilabs/analysis-ik/releases，找到对应版本下载安装包放到Elasticsearch安装目录下的plugins目录，重启Elasticsearch即可使用。

IK Analysis 提供了两种中文分析器供我们使用，分别是：ik_max_word和ik_smart。

ik_max_word 切分的粒度更细，ik_smart 切分的粒度会粗一下，占用的存储空间也会相对少一些。一般推荐索引时使用ik_smart节省存储空间，搜索时使用 ik_max_word 切分出更多的词以便能搜索到结果。

如下示例，是ik_max_word的分词效果，分出10个词

POST _analyze
{
  "analyzer":"ik_max_word",
  "text": "ik_max_word分词器的测试效果"
}

分词结果
["ik_max_word","ik","max","word","分词器","分词","器","的","测试","效果"]

下面是ik_smart的分词效果，只切分出5个词

POST _analyze
{
  "analyzer":"ik_smart",
  "text": "ik_smart分词器的测试效果"
}

分词结果
["ik_smart","分词器","的","测试","效果"]