使用极限网关实现 ES 跨集群搜索

使用 ES 的小伙伴,有没有在用跨集群搜索的? 熟悉 ES 的小伙伴都知道,ES 本身就能实现跨集群搜索,那为啥还要聊这个?试想一下,如果集群都上线投产了,才出现跨集群搜索需求,那么可能出现两种情况:

  1. 两个集群都使用了证书加密传输,要实现互联,需要重新设置证书,还要重启集群;
  2. 两个集群之间可能网络不能互通;

到了这里,我们的 极限网关 就派的上用场了。在以上场景中,只要网关能顺利连接到各个集群就行了。

话不多说,我们来 demo 一下。

数据准备

集群 A,含有 test 和 test-2 索引,数据很简单。

集群 B,含有 test-follower 和 test-3 索引,其中 test-follower 索引是集群 A 的复制索引

网关配置

网关配置使用专门的 merge_cross_search_results 配置。

做个简单的演示,只需修改这三个变量。

  • LR_ELASTICSEARCH_ENDPOINT1 : 代表集群 A ;
  • LR_ELASTICSEARCH_ENDPOINT2 : 代表集群 B ;
  • LR_ELASTICSEARCH_ENDPOINT3 : 代表默认集群,可以复用集群 A 或 B ;

集群 A 和 B 是我们要做跨集群搜索的,搜索请求会在这两个集群执行,然后合并结果。

非搜索请求会发送到这个 LR_ELASTICSEARCH_ENDPOINT3 指定的集群,但是 _cat/indices?format=json 会显示集群 A 和 B 的索引。

跨集群搜索

测试一

通配符 test* 查询集群 A 和 B ,所有数据,注意查询语法,必须包含冒号。

结果包含了集群 A 的索引:test 和 test-2 ,以及集群 B 的索引:test-follower 和 test-3 。

测试二

通配符 test* 查询集群 A 和 B ,包含关键字 cluster 的内容。

测试三

通配符 test* 查询集群 A 和 B ,进行聚合查询。

测试四

通配符 test* 查询集群 A 和 B ,进行带查询条件的聚合查询。

测试五

显示集群 A 和 B 的所有索引。

最后

这次的分享就到这里了,相信大家也看到了极限网关是非常灵活的。欢迎与我一起交流 ES 的各种问题和解决方案。

相关推荐
zskj_zhyl2 小时前
智慧养老丨从依赖式养老到自主式养老:如何重构晚年生活新范式
大数据·人工智能·物联网
哲科软件3 小时前
从“电话催维修“到“手机看进度“——售后服务系统开发如何重构客户体验
大数据·智能手机·重构
zzywxc7873 小时前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
专注API从业者3 小时前
构建淘宝评论监控系统:API 接口开发与实时数据采集教程
大数据·前端·数据库·oracle
Leon.ENV3 小时前
meilisearch-轻量级搜索引擎
搜索引擎
一瓣橙子4 小时前
缺少关键的 MapReduce 框架文件
大数据·mapreduce
永洪科技11 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
weixin_3077791312 小时前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
大只鹅12 小时前
解决 Spring Boot 对 Elasticsearch 字段没有小驼峰映射的问题
spring boot·后端·elasticsearch
上海锝秉工控15 小时前
防爆拉线位移传感器:工业安全的“隐形守护者”
大数据·人工智能·安全