Elasticsearch实现检索词自动补全(检索词补全，自动纠错，拼音补全，繁简转换) 包含demo

周全全2023-10-16 8:51

Elasticsearch实现检索词自动补全

自动补全

定义映射字段

下面的请求定义了一个名为 "book" 的 Elasticsearch 索引，其中包含一个 具有 "text" 数据类型和 "standard" 分析器且名为 "title" 的字段。此字段用于处理书籍标题的文本数据。定义了名为 "suggest" 的 "completion" 子字段，用于支持实时搜索建议的自动补全功能。

json 复制代码 
PUT /book
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "standard",
        "fields": {
          "suggest": {
            "type": "completion"
          }
        }
      }
    }
  }
}

建立索引

增加测试数据

bash 复制代码 
PUT /book/_doc/1
{
  "title":"散文精选"
}

PUT /book/_doc/2
{
  "title":"三国演义"
}

PUT /book/_doc/3
{
  "title":"三体二:黑暗森林"
}

测试自动补全

bash 复制代码 
POST /book/_search
{
  "suggest": {
    "book-suggest": {
      "prefix": "三",
      "completion": {
        "field": "title.suggest",
        "size": 5
      }
    }
  }
}

查询结果如下：

自动纠错

查询语句

使用 "fuzzy" 参数来实现模糊匹配，即允许在查询中包含一定数量的拼写错误。可以根据需要调整 "fuzziness" 的值，以容忍更多或更少的拼写错误

json 复制代码 
POST /book/_search
{
  "suggest": {
    "book-suggest": {
      "prefix": "三国眼",
      "completion": {
        "field": "title.suggest",
        "size": 5,
         "fuzzy": {
          "fuzziness": 2
        }
      }
    }
  }
}

查询结果

拼音补全与繁简转换

拼音分词器（pinyin analyzer）通常需要自行引入，因为它不是 Elasticsearch 的默认分词器。可以使用 Elasticsearch 的插件来引入 pinyin 分词器，以便在索引中使用它。

安装 elasticsearch-analysis-pinyin 插件

选择与自己版本一致的版本，插件地址：

https://github.com/medcl/elasticsearch-analysis-pinyin/releases

elasticsearch-analysis-pinyin分词器目前没有下载即可使用的安装包，需要自己下载源码进行编译。可以在项目目录elasticsearch-analysis-pinyin\target\releases看到编译后的结果elasticsearch-analysis-pinyin-7.17.11.zip

然后在es的安装目录下plugins目录下新建pinyin目录，并将解压后的文件复制到该目录下

重启es，启动日志中已经加载了拼音插件

定义索引与映射

json 复制代码 
PUT /book_pinyin
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "pinyin_analyzer": {
            "tokenizer": "my_pinyin"
          }
        },
        "tokenizer": {
          "my_pinyin": {
            "type": "pinyin",
            "keep_separate_first_letter": false,
            "keep_full_pinyin": true,
            "keep_original": true,
            "limit_first_letter_length": 16,
            "lowercase": true,
            "remove_duplicated_term": true
          }
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "standard",
        "fields": {
          "suggest": {
            "type": "completion",
            "analyzer": "pinyin_analyzer"
          }
        }
      }
    }
  }
}

建立拼音自动补全索引

测试拼音自动补全

  • 增加测试数据

    bash 复制代码 
    PUT /book_pinyin/_doc/1
{
  "title":"散文精选"
}

PUT /book_pinyin/_doc/2
{
  "title":"三国演义"
}

PUT /book_pinyin/_doc/3
{
  "title":"三体二:黑暗森林"
}

PUT /book_pinyin/_doc/4
{
  "title":"三國演義"
}

  • 执行检索

bash 复制代码 
POST /book_pinyin/_search
{
  "suggest": {
    "book-suggest": {
      "prefix": "san",
      "completion": {
        "field": "title.suggest",
        "size": 5,
         "fuzzy": {
          "fuzziness": 2
        }
      }
    }
  }
}

测试繁简转换自动补全

我们这里实现了拼音转换后已经实现了繁简转换

代码实现

demo结构

简单创建一个springboot项目，使用html实现了一个简单的demo

实现效果如下：

demo获取

自动补全-官方文档

Completion Suggester 是 Elasticsearch 提供的自动补全和搜索即时提示的功能。这是一种导航功能，可引导用户在键入时找到相关结果，从而提高搜索准确性。请注意，它不适用于拼写校正或类似 term 或 phrase suggesters 的"您是不是要这样说"功能。

理想情况下，自动补全功能应该与用户输入同步，以提供与用户已经键入的内容相关的即时反馈。因此，Completion Suggester 针对速度进行了优化。该建议器使用数据结构来实现快速查找，但构建和存储这些数据结构是昂贵的，并且存储在内存中。

映射（Mapping）

要使用此功能，需要为字段指定一个特殊的映射，以便为快速补全建议索引字段值。

json 复制代码 
PUT music
{
  "mappings": {
    "properties": {
      "suggest": {
        "type": "completion"
      },
      "title": {
        "type": "keyword"
      }
    }
  }
}

映射支持以下参数：

  • analyzer：用于索引的分析器，默认为 simple。
  • search_analyzer：用于搜索的分析器，默认为与 "analyzer" 相同。
  • preserve_separators：保留分隔符，默认为 true。如果禁用，您可能会找到以 "Foo Fighters" 开头的字段，如果建议输入为 "foof"。
  • preserve_position_increments：启用位置增量，默认为 true。如果禁用并使用停用词分析器，建议输入 "b" 时，您可能会得到以 "The Beatles" 开头的字段。请注意：如果能够丰富数据，也可以通过索引两个输入 "Beatles" 和 "The Beatles" 来实现，无需更改简单分析器。
  • max_input_length：限制单个输入的长度，默认为 50 个 UTF-16 代码点。此限制仅在索引时使用，以减少每个输入字符串的字符总数，以防止底层数据结构膨胀。在大多数情况下，默认值不会对使用产生影响，因为前缀建议很少会增长到比一小撮字符长的前缀。

索引（Indexing）

索引建议与索引其他字段的数据相似。建议由输入和可选的权重属性组成。输入是建议查询中预期匹配的文本，而权重确定建议的评分。索引建议的示例如下：

json 复制代码 
PUT music/_doc/1?refresh
{
  "suggest" : {
    "input": [ "Nevermind", "Nirvana" ],
    "weight" : 34
  }
}

支持以下参数：

  • input：要存储的输入，可以是字符串数组或仅为字符串。此字段是必需的。该值不能包含以下 UTF-16 控制字符：\u0000（null）、\u001f（信息分隔符一）、\u001e（信息分隔符二）。
  • weight：正整数或包含正整数的字符串，用于定义权重，可用于排列建议。此字段是可选的。

您还可以使用以下简化形式，但请注意，在简化形式中不能为建议指定权重。

json 复制代码 
PUT music/_doc/1?refresh
{
  "suggest" : [ "Nevermind", "Nirvana" ]
}

查询（Querying）

建议查询与通常查询相似，不同之处在于您必须将建议类型指定为 "completion"。建议是近实时的，这意味着通过 "refresh" 可以立即显示新建议，已删除的文档永远不会被显示。

下面是一个查询的示例：

json 复制代码 
POST music/_search?pretty
{
  "suggest": {
    "song-suggest": {
      "prefix": "nir",
      "completion": {
        "field": "suggest"
      }
    }
  }
}

在查询结果中，Elasticsearch 将返回与用户输入前缀匹配的建议。您可以使用这些建议为用户提供搜索建议。

自动补全建议还支持模糊查询和正则表达式查询，以处理用户输入中的拼写错误或其他变化。这些查询可以通过 "fuzzy" 和 "regex" 参数进行配置。

请注意，默认情况下，"_source" 元数据字段是启用的，以便返回建议的源数据。建议的权重通过 "_score" 返回。默认情况下，建议返回完整文档的 "_source"。如果 _source 大小会影响性能，可以使用源过滤来减小 _source 大小。

以上是使用 Completion Suggester 的基本概述。根据需求，您可以进一步配置和定制自动补全建议。 Completion Suggester 可以考虑索引中的所有文档。对于如何查询文档子集的详细信息，请查看上下文建议（Context Suggester）。

如果一个建议查询跨越多个分片，建议会在两个阶段执行，最后一个阶段从分片中获取相关文档，这意味着当建议跨多个分片时，在单个分片上执行建议请求会更有效，因为建议涵盖多个分片时需要执行文档提取开销。为了获得最佳的自动补全性能，建议将自动补全索引到单个分片索引中。如果由于分片大小而导致堆内存使用过高，仍建议将索引分成多个分片，而不是为了优化自动补全性能。

跳过重复建议

查询可能会返回来自不同文档的重复建议。通过将 "skip_duplicates" 设置为 true，可以修改此行为。设置为 true 时，此选项会减慢搜索，因为需要访问更多的建议以查找前 N 个。

模糊查询（自动纠错）

Completion Suggester 还支持模糊查询，这意味着您可以在搜索中出现拼写错误，仍然可以获得结果。

例如，以下是一个使用模糊查询的查询示例：

json 复制代码 
POST music/_search?pretty
{
  "suggest": {
    "song-suggest": {
      "prefix": "nor",
      "completion": {
        "field": "suggest",
        "fuzzy": {
          "fuzziness": 2
        }
      }
    }
  }
}

模糊查询会根据查询前缀与建议前缀的最长匹配来对建议进行评分。模糊查询支持各种参数，如 "fuzziness"、"transpositions"、"min_length"、"prefix_length" 和 "unicode_aware"，可以用于调整匹配的宽松程度和性能。

正则表达式查询

Completion Suggester 还支持正则表达式查询，这意味着您可以使用正则表达式来表示前缀。

例如，以下是一个使用正则表达式查询的示例：

json 复制代码 
POST music/_search?pretty
{
  "suggest": {
    "song-suggest": {
      "regex": "n[ever|i]r",
      "completion": {
        "field": "suggest"
      }
    }
  }
}

正则表达式查询可以包含各种参数，如 "flags" 和 "max_determinized_states"，以用于调整匹配的方式和性能。

相关推荐
Hello.Reader1 小时前
TopK算法在大数据重复数据分析中的应用与挑战
大数据·算法·数据分析
数据龙傲天1 小时前
1688商品API接口：电商数据自动化的新引擎
java·大数据·sql·mysql
Elastic 中国社区官方博客1 小时前
Elasticsearch：使用 LLM 实现传统搜索自动化
大数据·人工智能·elasticsearch·搜索引擎·ai·自动化·全文检索
慕雪华年2 小时前
【WSL】wsl中ubuntu无法通过useradd添加用户
linux·ubuntu·elasticsearch
Jason不在家3 小时前
Flink 本地 idea 调试开启 WebUI
大数据·flink·intellij-idea
Elastic 中国社区官方博客4 小时前
使用 Vertex AI Gemini 模型和 Elasticsearch Playground 快速创建 RAG 应用程序
大数据·人工智能·elasticsearch·搜索引擎·全文检索
alfiy5 小时前
Elasticsearch学习笔记（四） Elasticsearch集群安全配置一
笔记·学习·elasticsearch
CHICX12295 小时前
【Hadoop】改一下core-site.xml和hdfs-site.xml配置就可以访问Web UI
xml·大数据·hadoop
alfiy6 小时前
Elasticsearch学习笔记(五）Elastic stack安全配置二
笔记·学习·elasticsearch
权^6 小时前
MySQL--聚合查询、联合查询、子查询、合并查询（上万字超详解！！！）
大数据·数据库·学习·mysql
热门推荐
01组基轨迹建模 GBTM的介绍与实现（Stata 或 R）02【经验分享】Ubuntu22.04安装微信(linux官方版)032024年高教社杯数学建模国赛C题超详细解题思路分析04分享几个惊艳的 Three.js 个人站点05安卓系列机型永久去除data分区加密 详细步骤解析06【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提07CTF网络安全大赛简单的web抓包题目：HEADache08Ubuntu24.04安装中文输入法09【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文10springer 在线投稿编译踩坑