详解SpringCloud微服务技术栈:深入ElasticSearch(2)——自动补全、拼音搜索

👨‍🎓作者简介:一位大四、研0学生,正在努力准备大四暑假的实习

🌌上期文章:详解SpringCloud微服务技术栈:深入ElasticSearch(1)------数据聚合

📚订阅专栏:微服务技术全家桶

希望文章对你们有所帮助

自动补全的功能其实在很多平台都有,包括了对拼音内容进行补全,例如输入"sj"可能会弹出"手机"。

实现这种功能需要安装拼音分词器,同时我们需要对其进行自定义,然后开始在之前的旅游类项目中增加搜索框自动补全的功能。

同样的,先把DSL语句掌握,再根据DSL语句去写java代码,去做实战,就会很容易。

深入ElasticSearch(2)------自动补全

安装拼音分词器

安装方式和之前安装IK分词器是一样的,解压完上传到虚拟机中elasticsearch的plugin目录,再重启elasticsearch。

拼音分词器的压缩包可以从百度网盘中下载:

链接:https://pan.baidu.com/s/1qEwp3StkW7IJuhow-yAunA?pwd=fc9r

提取码:fc9r

终端输入docker restart es即可。

在dev tools中测试一下:

powershell 复制代码
POST /_analyze
{
  "text": ["如家酒店还不错"],
  "analyzer": "pinyin"
}

自定义分词器

现在的拼音分词器还没有办法应用到生产环境中,上图中拼音分词器中分出了"rjjdhbc"这样的结果,同时它们还对全部单独的字进行了拼音,说明它根本不会分词。

还有一个问题,这里的分词器分出了拼音,这在真实应用场景下是锦上添花,但是偏偏没有了汉字,这显然是不行的。

elasticsearch中分词器的组成包含三部分:

character filters:在tokenizer之前对文本进行处理。例如删除字符、替换字符

tokenizer:将文本按照一定的规则切割成词条(term)。例如keyword、ik_smart

tokenizer filter:将tokenizer输出的词条做进一步处理。例如大小写转换、同义词处理、拼音处理等

所以,既然拼音分词器本身不会分词,那就先把文本交给ik分词器,分词后再转换为拼音。

要想自定义分词器,可以在创建索引库时,通过setting来配置自定义的analyzer(分词器):

powershell 复制代码
PUT /test
{
	"settings": {
		"analysis": {
			"analyzer": { # 自定义分词器
				"tokenizer": "ik_max_word",
				"filter": "pinyin"
			}
		}
	}
}

虽然分好词了,但是拼音分词器对每个词,还是分成一个字一个字的来设置拼音,因此需要做进一步处理,即对拼音分词器进行自定义,不再使用默认的"pinyin":

powershell 复制代码
PUT /test
{
	"settings": {
		"analysis": {
			"analyzer": {
			  "my_analyzer": {
			    "tokenizer": "ik_max_word",
				"filter": "py"
			  }
			},
			"filter": { # 自定义tokenizer filter
				"py": { # 过滤器名称
					"type": "pinyin", # 类型是拼音分词器
					"keep_full_pinyin": false, # 不再分为单个字
					"keep_joined_full_pinyin": true, # 开启全拼
					"keep_original": true # 保留中文
					"limit_first_letter_length": 16,
					"remove_duplicated_term": true,
					"none_chinese_pinyin_tokenize": false
				}
			}
		}
	}
}

最终语句如下:

现在就可以进行测试,用自定义的分词器my_analyzer来做分词,注意需要指定索引库为/test,因为这个自定义分词器是在/test索引库下创建的,也只能在这里使用:

powershell 复制代码
POST /test/_analyze
{
  "text": ["如家酒店还不错"],
  "analyzer": "my_analyzer"
}

但还是有一定的问题的,比如搜索狮子,结果中会包含虱子,也就是说把同音字都给搜进去了。

实际上,创建倒排索引时:

这时候再搜索的时候,就会因为拼音分词器的存在,shizi的词条对应了1和2的文档编号,就会产生混乱。

也就是说,拼音分词器适合在创建倒排索引的时候使用,但不能在搜索的时候使用。

因此,字段在创建倒排索引时应该用my_analyzer分词器,在搜索时应该用ik_smart分词器:

powershell 复制代码
"mappings": {
	"properties": {
		"name": {
			"type": "text",
			"analyzer": "my_analyzer",
			"search_analyzer": "ik_smart"
		}
	}
}

总结:创建索引时用拼音分词器,搜索时用IK分词器。

DSL实现自动补全查询

elasticsearch提供了Completion Suggester查询来实现自动补全功能。这个查询会匹配以用户输入内容开头的词条并返回。为了提高补全查询的效率,对于文档中字段的类型有一些约束:

参与补全查询的字段必须是completion类型。

字段的内容一般是用来补全的多个词条形成的数组。

这样做,输入S会弹出Sony,输入W会弹出WH...,把整个成语拆开显然更为人性化。

查询语法如下:

powershell 复制代码
GET /test/_search
{
	"suggest": { # 自动补全
		"title_suggest": { # 自动补全这个操作的名称
			"text": "s", # 查询的前缀
			"completion": { # 自动补全的类型,使用完全补全
				"field": "title",
				"skip_duplicates": true, # 跳过重复的
				"size": 10
			}
		}
	}
}

修改酒店索引库数据结构

接下来要实现hotel索引库的自动补全、拼音搜索功能。需要先将酒店的索引库数据结构修改,实现步骤:

1、修改hotel索引库结构,设置自定义拼音分词器

2、修改索引库的name、all字段,使用自定义分词器

3、索引库添加一个新字段suggestion,类型为completion,使用自定义的分词器

记得先删掉之前的hotel索引库,再创建实现上面3步:

powershell 复制代码
PUT /hotel
{
  "settings": {
    "analysis": {
      "analyzer": {
        "text_anlyzer": {
          "tokenizer": "ik_max_word",
          "filter": "py"
        },
        "completion_analyzer": {
          "tokenizer": "keyword",
          "filter": "py"
        }
      },
      "filter": {
        "py": {
          "type": "pinyin",
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "id":{
        "type": "keyword"
      },
      "name":{
        "type": "text",
        "analyzer": "text_anlyzer",
        "search_analyzer": "ik_smart",
        "copy_to": "all"
      },
      "address":{
        "type": "keyword",
        "index": false
      },
      "price":{
        "type": "integer"
      },
      "score":{
        "type": "integer"
      },
      "brand":{
        "type": "keyword",
        "copy_to": "all"
      },
      "city":{
        "type": "keyword"
      },
      "starName":{
        "type": "keyword"
      },
      "business":{
        "type": "keyword",
        "copy_to": "all"
      },
      "location":{
        "type": "geo_point"
      },
      "pic":{
        "type": "keyword",
        "index": false
      },
      "all":{
        "type": "text",
        "analyzer": "text_anlyzer",
        "search_analyzer": "ik_smart"
      },
      "suggestion":{
          "type": "completion",
          "analyzer": "completion_analyzer"
      }
    }
  }
}

4、给HotelDoc类添加suggestion字段,内容包括brand、business

5、重新导入数据到hotel库,之前已经编写了这个测试类了:

restAPI实现自动补全查询

编写测试类获取response并逐层解析结果:

java 复制代码
	@Test
    void testSuggest() throws IOException {
        SearchRequest request = new SearchRequest("hotel");
        request.source().suggest(new SuggestBuilder().addSuggestion(
                "suggestion",
                SuggestBuilders
                        .completionSuggestion("suggestion")
                        .prefix("h")
                        .skipDuplicates(true)
                        .size(10)
        ));
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        Suggest suggest = response.getSuggest();
        CompletionSuggestion suggestion = suggest.getSuggestion("suggestion");
        for (CompletionSuggestion.Entry.Option option : suggestion.getOptions()) {
            String text = option.getText().toString();
            System.out.println("text = " + text);
        }
    }

实现搜索框自动补全

查看前端页面,可以发现在输入框输入的时候,前端就会发起Ajax请求:

既然已经携带了输入的参数,要实现自动补全,需要在服务端编写接口,接收该请求,返回补全结果的集合,类型为List<String>。

HotelController:

java 复制代码
	@GetMapping("/suggestion")
    public List<String> getSuggestion(@RequestParam("key") String prefix) {
        return hotelService.getSuggestion(prefix);
    }

实现类HotelService:

java 复制代码
	@Override
    public List<String> getSuggestion(String prefix) {
        try {
            SearchRequest request = new SearchRequest("hotel");
            request.source().suggest(new SuggestBuilder().addSuggestion(
                    "suggestions",
                    SuggestBuilders.completionSuggestion("suggestion")
                            .prefix(prefix)
                            .skipDuplicates(true)
                            .size(10)
            ));
            SearchResponse response = client.search(request, RequestOptions.DEFAULT);

            //解析结果
            Suggest suggest = response.getSuggest();
            CompletionSuggestion suggestion = suggest.getSuggestion("suggestions");
            List<CompletionSuggestion.Entry.Option> options = suggestion.getOptions();
            List<String> list = new ArrayList<>(options.size()); //准备要渲染回去的集合
            for (CompletionSuggestion.Entry.Option option : options) {
                String text = option.getText().toString();
                list.add(text);
            }
            return list;
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }


至此,自动补全功能正式实现。

相关推荐
开心工作室_kaic2 分钟前
ssm161基于web的资源共享平台的共享与开发+jsp(论文+源码)_kaic
java·开发语言·前端
懒洋洋大魔王4 分钟前
RocketMQ的使⽤
java·rocketmq·java-rocketmq
武子康9 分钟前
Java-06 深入浅出 MyBatis - 一对一模型 SqlMapConfig 与 Mapper 详细讲解测试
java·开发语言·数据仓库·sql·mybatis·springboot·springcloud
转世成为计算机大神41 分钟前
易考八股文之Java中的设计模式?
java·开发语言·设计模式
qq_327342731 小时前
Java实现离线身份证号码OCR识别
java·开发语言
java1234_小锋1 小时前
Elasticsearch是如何实现Master选举的?
大数据·elasticsearch·搜索引擎
阿龟在奔跑2 小时前
引用类型的局部变量线程安全问题分析——以多线程对方法局部变量List类型对象实例的add、remove操作为例
java·jvm·安全·list
飞滕人生TYF2 小时前
m个数 生成n个数的所有组合 详解
java·递归
代码小鑫3 小时前
A043-基于Spring Boot的秒杀系统设计与实现
java·开发语言·数据库·spring boot·后端·spring·毕业设计
真心喜欢你吖3 小时前
SpringBoot与MongoDB深度整合及应用案例
java·spring boot·后端·mongodb·spring