使用 INFINI Gateway 保护 Elasticsearch 集群之修改查询不合理参数(一)

本文将探讨如何使用 INFINI Gateway 修改查询不合理的参数,此方法同样适用于 Opensearch 和 INFINI Easysearch 。

在之前的文章中,我们介绍了如何阻断不合理的查询。有些不合理查询是本身就非常消耗资源,比如模糊查询、嵌套聚合等。还有些不合理查询是因为指定了不合理的参数导致非常消耗资源,比如深度分页、profile 查询等。

不合理参数

所谓不合理参数可以简单理解为,赋值不恰当的参数。有些参数甚至是必要的,只是因为赋值不恰当导致过度消耗资源,这种情况把参数值修改成合理值就行了。还有些参数是在特定场景下使用的,比如调试类的参数,这种参数可以考虑删除或者将值修改成 fasle 。

比如下面的查询:

plain 复制代码
GET test/_search
{
  "size": 10000,
  "track_total_hits": true,
  "query": {
    "match": {
      "test": "test"
    }
  }
}

这里的 size 和 track_total_hits 都是可以优化的地方。还有一些调试查询也是毕竟消耗资源的,生产上尽量避免,比如:

plain 复制代码
GET test/_search
{
  "query": {
    "match": {
      "test": "test"
    }
  },
  "profile": "true",
  "explain": true
}

request_body_json_set

通过 INFINI Gateway 的 request_body_json_set 过滤器,可以修改 JSON 格式请求体里的字段值。上面的查询我们可以修改 INFINI Gateway 的默认配置增加 request_body_json_set 部分如下

plain 复制代码
flow:
  - name: default_flow
    filter:
      - request_body_json_set:
         path:
          - explain -> false
          - size -> 10
          - track_total_hits -> false
          - profile -> false
      - elasticsearch:
          elasticsearch: prod
          max_connection_per_node: 1000

修改效果

未使用 request_body_json_set 之前的查询语句是下面这样的。

使用 request_body_json_set 后的语句如下图。

可以看到我们成功地修改了查询参数。有的朋友可能会问,怎么提前知道查询里有什么不合理参数呢?这个好办,INFINI Gateway 本身就有记录查询语句的功能,详情请参考文档。记录下来的请求信息可以进一步分析、展示。遇到需要修改查询参数的情况,可以参考本文的处理方法。

关于极限网关(INFINI Gateway)

INFINI Gateway 是一个开源的面向搜索场景的高性能数据网关,所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway,可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

官网文档:docs.infinilabs.com/gateway/mai...

开源地址:github.com/infinilabs/...

作者:杨帆,极限科技(INFINI Labs)高级解决方案架构师、《老杨玩搜索》栏目 B 站 UP 主,拥有十余年金融行业服务工作经验,熟悉 Linux、数据库、网络等领域。目前主要从事 Easysearch、Elasticsearch 等搜索引擎的技术支持工作,服务国内私有化部署的客户。

相关推荐
太阳吖4 小时前
学习笔记之车票搜索为什么用Redis而不是ES?
大数据·elasticsearch·搜索引擎
小李的便利店4 小时前
软件环境安装-通过Docker安装Elasticsearch和Kibana【保姆级教程、内含图解】
elasticsearch·docker·容器·kibana
Elasticsearch5 小时前
介绍 OpenTelemetry 的 OTTL Playground
elasticsearch
Gratitute_林腾6 小时前
es-将知识库中的数据转换为向量存储到es并进行相似性检索
大数据·elasticsearch·搜索引擎
qzw12106 小时前
Java与Elasticsearch集成详解,以及使用指南
java·elasticsearch·jenkins
Sendingab7 小时前
3.4 Spring Boot整合Elasticsearch:全文检索与聚合分析
spring boot·elasticsearch·全文检索
Elastic 中国社区官方博客18 小时前
Elasticsearch:语义文本 - 更简单、更好、更精炼、更强大 8.18
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
kngines1 天前
【实战ES】实战 Elasticsearch:快速上手与深度实践-附录-2-性能调优工具箱
大数据·elasticsearch·搜索引擎
Elasticsearch1 天前
如何通过 Airbyte 将数据摄取到 Elasticsearch
elasticsearch