【踩坑记录】Elasticsearch查询:circuit_breaking_exception异常解决方案

项目场景:

springboot中使用ES7查询一个月内的数据量趋势时出错。在开发线上正常,演示线时出现异常


问题描述

项目在演示线环境的时候,出现查询异常

异常信息如下:

c 复制代码
org.elasticsearch.ElasticsearchStatusException: Elasticsearch exception [type=circuit_breaking_exception, reason=[parent] Data too large, data for [<http_request>] would be [31741946644/29.5gb], which is larger than the limit of [31621696716/29.4gb], real usage: [31741945664/29.5gb], new bytes reserved: [980/980b], usages [request=0/0b, fielddata=896932/875.9kb, in_flight_requests=980/980b, model_inference=0/0b, accounting=89070922/84.9mb]]
        at org.elasticsearch.rest.BytesRestResponse.errorFromXContent(BytesRestResponse.java:187)
        at org.elasticsearch.client.RestHighLevelClient.parseEntity(RestHighLevelClient.java:1911)
        at org.elasticsearch.client.RestHighLevelClient.parseResponseException(RestHighLevelClient.java:1888)
        at org.elasticsearch.client.RestHighLevelClient.internalPerformRequest(RestHighLevelClient.java:1645)
        at org.elasticsearch.client.RestHighLevelClient.performRequest(RestHighLevelClient.java:1602)
        at org.elasticsearch.client.RestHighLevelClient.performRequestAndParseEntity(RestHighLevelClient.java:1572)
        at org.elasticsearch.client.RestHighLevelClient.search(RestHighLevelClient.java:1088)

原因分析:

原因:ES默认的缓存设置是缓存区是只进不出的,一当缓存区不够时,就会抛出异常

解决方案:

  1. API方式设置,无需重启ES

    PUT _cluster/settings
    {
    "persistent" : {
    "indices.breaker.fielddata.limit" : "40%"
    }
    }

  2. 设置elasticsearch.yml文件,然后重启ES

    indices.memory.index_buffer_size: 30%
    indices.recovery.max_bytes_per_sec: 30mb
    indices.fielddata.cache.size: 30%
    indices.breaker.fielddata.limit: 40%
    indices.breaker.request.limit: 40%
    indices.breaker.total.use_real_memory: false
    indices.breaker.total.limit: 70%

配置完后,重新查询,正常

相关推荐
Elasticsearch2 天前
平衡尺度:利用权重使倒数排序融合 (RRF) 更加智能
elasticsearch
muyun28003 天前
Docker 下部署 Elasticsearch 8 并集成 Kibana 和 IK 分词器
elasticsearch·docker·容器
在未来等你3 天前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
在未来等你3 天前
Elasticsearch面试精讲 Day 18:内存管理与JVM调优
大数据·分布式·elasticsearch·搜索引擎·面试
Elasticsearch3 天前
在 Elastic Observability 中使用 Discover 的追踪获取更深入的应用洞察
elasticsearch
婲落ヽ紅顏誶3 天前
测试es向量检索
大数据·elasticsearch·搜索引擎
咖啡Beans4 天前
Docker安装ELK(Elasticsearch + Logstash + Kibana)
后端·elasticsearch·docker
一勺菠萝丶4 天前
Jenkins 构建 Node 项目报错解析与解决——pnpm lockfile 问题实战
elasticsearch·servlet·jenkins
小花鱼20254 天前
Elasticsearch (ES)相关
大数据·elasticsearch
阿里嘎多哈基米4 天前
ES——(三)DSL高级查询
elasticsearch·搜索引擎·全文检索·kibana·倒排索引