es安装拼音分词后Kibana出现内存错误

出现错误

今天在安装es的拼音分词器,并重启es容器后,登录Kibana无法使用,查询日志发现如下报错

Waiting until all Elasticsearch nodes are compatible with Kibana before starting saved objects migrations... | type=log @timestamp=2024-10-30T10:26:36+08:00 tags=["info","savedobjects-service"] pid=7 Starting saved objects migrations | type=log @timestamp=2024-10-30T10:26:36+08:00 tags=["info","savedobjects-service"] pid=7 ResponseError: circuit_breaking_exception: [circuit_breaking_exception] Reason: [parent] Data too large, data for [<http_request>] would be [282858312/269.7mb], which is larger than the limit of [268435456/256mb], real usage: [282858312/269.7mb], new bytes reserved: [0/0b], usages [request=0/0b, fielddata=0/0b, in_flight_requests=0/0b, model_inference=0/0b, eql_sequence=0/0b, accounting=67696/66.1kb] at onBody (/usr/share/kibana/node_modules/@elastic/elasticsearch/lib/Transport.js:367:23) at IncomingMessage.onEnd (/usr/share/kibana/node_modules/@elastic/elasticsearch/lib/Transport.js:291:11) at IncomingMessage.emit (node:events:402:35) at endReadableNT (node:internal/streams/readable:1343:12) at processTicksAndRejections (node:internal/process/task_queues:83:21) { meta: { body: { error: [Object], status: 429 }, statusCode: 429, headers: { 'x-elastic-product': 'Elasticsearch', 'content-type': 'application/json; charset=UTF-8', 'content-length': '931' }, meta: { context: null, request: [Object], name: 'elasticsearch-js', connection: [Object], attempts: 0, aborted: false } } } | type=log @timestamp=2024-10-30T10:26:37+08:00 tags=["fatal","root"] pid=7 Stopping all plugins. | type=log @timestamp=2024-10-30T10:26:37+08:00 tags=["info","plugins-system","standard"] pid=7 Monitoring stats collection is stopped | type=log @timestamp=2024-10-30T10:26:37+08:00 tags=["info","plugins","monitoring","monitoring","kibana-monitoring"] pid=7

问题分析

  1. 内存限制超出

    • 错误信息显示,当前请求数据量为269.7MB,超过了256MB的限制,导致Elasticsearch拒绝处理该请求。‌
    • Elasticsearch内存限制‌:Elasticsearch的内存限制可能导致Kibana在执行已保存对象的迁移时出现问题。当Elasticsearch的内存不足时,无法顺利处理迁移过程中的数据操作,从而导致错误‌
  2. Kibana状态

    • 因为错误,Kibana停止了所有插件并结束了监控统计信息的收集。

解决方法

1.调整Elasticsearch内存设置

可以考虑增加Elasticsearch的内存限制。编辑Elasticsearch的jvm.options文件,增加-Xmx-Xms参数,例如:

复制代码
-Xms2g -Xmx2g

注:需要根据服务器的可用内存做相应调整。

2.优化请求

尝试优化导致该请求的数据大小,可能需要减少一次请求的数据量。

3.查看内存使用情况

监控Elasticsearch的内存使用情况,确保没有其他进程占用过多内存。

4.调整Circuit Breaker设置

可以考虑调整Elasticsearch的circuit_breaker设置,以增加请求大小限制。这可以在Elasticsearch的elasticsearch.yml中进行配置:

复制代码
indices.breaker.request.limit: 70%

注:可以根据需求自己设置参数

5.重启服务

在进行配置更改后,重启Elasticsearch和Kibana,以使更改生效。

6.检查其他因素

确保没有其他资源争用(如磁盘IO等),可能会影响Elasticsearch的性能。

通过以上方法,您应该能够解决内存限制问题并成功完成Kibana的已保存对象迁移。如果问题仍然存在,请考虑查阅更多的日志或咨询Elasticsearch的文档。

相关推荐
码云数智-大飞1 小时前
进程、线程与协程:并发模型的演进与 Go 语言的 GMP 革命
大数据
XiaoMu_0011 小时前
基于大数据的糖尿病数据分析可视化
大数据·数据挖掘·数据分析
阿里云大数据AI技术2 小时前
Celeborn 如何让 EMR Serverless Spark 的 Shuffle 舒心、放心、安心
大数据·spark
AI营销快线2 小时前
AI营销获客难?原圈科技深度解析SaaS系统增长之道
大数据·人工智能
星幻元宇VR3 小时前
VR环保学习机|科技助力绿色教育新模式
大数据·科技·学习·安全·vr·虚拟现实
CryptoPP3 小时前
开发者指南:构建实时期货黄金数据监控系统
大数据·数据结构·笔记·金融·区块链
ZGi.ai5 小时前
生产级 Agent 编排 从单一 LLM 调用到多智能体工作流的工程设计
大数据·数据库·人工智能
天远数科5 小时前
分布式系统实战:基于天远二手车估值API构建高可用车辆估值微服务
大数据·微服务·云原生·架构
码农小白AI6 小时前
AI审核加持的IACheck:塔吊与施工电梯安全监测系统检测报告如何实现高效合规与风险可控
大数据·人工智能·安全
leo_2326 小时前
小数据”与大数据(之二)
大数据·企业信息化·smp(软件制作平台)·软件开发工具·应用系统·小数据系统