ElasticSearch的RestClient结合Sniffer提高可用性

一、背景

由于要安装分词器插件,所以需要重启ElasticSearch集群以使得新安装的插件生效

但是在重启集群的过程中,服务端代码却出现了大量错误,如下所示

|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| java.net.ConnectException: Connection refused    at org.elasticsearch.client.RestClient.extractAndWrapCause(RestClient.java:``823``)    at org.elasticsearch.client.RestClient.performRequest(RestClient.java:``248``)    at org.elasticsearch.client.RestClient.performRequest(RestClient.java:``235``)    ...... |

基于此,也引出一个潜在的可用性问题,即代码没有做到可以平稳支持ElasticSearch集群的重启,不局限于可预知的升级导致的重启,包括集群自身不稳定导致的集群节点变化如某节点的CPU和内容过高、所在机柜或机房故障等不可预期情况

二、引入Sniffer

为了提高服务的可用性和稳定性,引入Sniffer(嗅探器)

Sniffer

允许从正在运行的 Elasticsearch 集群中自动发现节点并将它们设置为现有 RestClient 实例的最小库,默认使用节点信息API检索所属集群的交节点,并使用jackson解析得到json数据,与ElasticSearch 2.X及之后版本兼容。

添加Maven依赖以引入Sniffer,如下所示

|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <``dependency``> ``<``groupId``>org.elasticsearch.client</``groupId``> ``<``artifactId``>elasticsearch-rest-client-sniffer</``artifactId``> ``<``version``>7.6.2</``version``> </``dependency``> |

Sniffer相关的JavaDoc可参看:elasticsearch-rest-client-sniffer,代码如下所示

|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| // 失败嗅探监听器,可保证在RestClient出现失败时,立即更新集群的节点 SniffOnFailureListener sniffOnFailureListener = ``new SniffOnFailureListener(); HttpHost httpHost = port != ``null ? ``new HttpHost(host, port, scheme) : HttpHost.create(host); RestClient client = RestClient.builder(httpHost) ``.setFailureListener(sniffOnFailureListener) ``.build(); Sniffer sniffer = Sniffer.builder(client) ``// 3 minutes, default 5 minutes,定时更新集群的节点 ``.setSniffIntervalMillis(``3 * ``60 * ``1000``) ``// 30 seconds, default 1 minutes ,在失败立即更新集群的节点后,额外再次执行一次主动的更新行为 ``// 因为这个时间段内之前出问题的节点可能已经恢复,进而可以被再次更新到节点中被使用) ``.setSniffAfterFailureDelayMillis(``30 * ``1000``) ``.build(); sniffOnFailureListener.setSniffer(sniffer); |

需要注意的是,需要保证Sniffer和RestClient要具有相同的生命周期,并且应该先于RestClient关闭,如下所示

|--------------------------------------|
| sniffer.close(); client.close(); |

也可通过以下方式更改是通过HTTP还是HTTPS,并且可以设置请求超时时间,避免因为拉取节点时间过长,影响服务恢复的速度或恢复失败,尽管设置超时时间后可能获得的节点数少于集群中的节点数

|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| NodesSniffer nodesSniffer = ``new ElasticsearchNodesSniffer( ``restClient, ``TimeUnit.SECONDS.toMillis(``5``), ``// 默认ElasticsearchNodesSniffer.DEFAULT_SNIFF_REQUEST_TIMEOUT ``ElasticsearchNodesSniffer.Scheme.HTTPS); ``// 若是HTTP协议,则ElasticsearchNodesSniffer.Scheme.HTTP Sniffer sniffer = Sniffer.builder(client) ``.setNodesSniffer(nodesSniffer).build(); |

也可以自定义获取节点的方法,进而可以获取其他ElasticSearch数据源或做一些其他的扩展,如下所示

|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| NodesSniffer nodesSniffer = ``new NodesSniffer() { ``@Override ``public List<Node> sniff() ``throws IOException { ``// 自行按需实现获取节点的逻辑 ``return null``; ``} }; Sniffer sniffer = Sniffer.builder(client) ``.setNodesSniffer(nodesSniffer).build(); |

相关推荐
码云社区20 分钟前
Java家政服务系统源码:人员技能、服务范围与多商家业务落地
java·开发语言·家政服务·家政小程序·家政系统
摇滚侠1 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
CoderYanger2 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第八弹):MyBatis Generator
java·数据库·spring boot·spring·java-ee·tomcat·mybatis
jaysee-sjc4 小时前
【黑马点评】Day02:优惠券秒杀与分布式锁
java·分布式·nginx·spring·node.js·tomcat·maven
秋天的怀念_David5 小时前
算法一千零一夜 · 第三十五夜 · 恢复风暴
java·程序人生·算法
考虑考虑5 小时前
JDK27中的加密对象的 PEM 编码
java·后端·java ee
行者-全栈开发6 小时前
SpringBoot + GraalVM 原生编译实战:启动时间从8秒到0.5秒的极致优化
java·spring boot·后端
CoderYanger6 小时前
Java EE 进阶:10. MyBatis-Plus使用(第一弹)
java·spring boot·后端·sql·spring·java-ee·mybatis
大胖爱学习_MJ8 小时前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python
吃我一窝jio8 小时前
Java博客极简写作三支柱
java