单节点es 打开文件过多(too many open files)

今天重启es后,发现es服务是启动了,但是实时数据并未写入es数据库,查看日志发现,报错如下图

我看了下正在运行的es程序打开了多少文件(4274是es的pid)

然后再网上搜了很多,说是要调整linux的系统,将open file改成655350,

系统这边open files 只有1024,远远小于137820,所以es报错了,

vim /etc/security/limits.conf

在文档最后添加,使其永久生效

soft nofile 655350

hard nofile 655350

我改过后,重启es,es依然报同样的错误,一时不知道怎么办,然后尝试前台启动es后,es正常起来了,

然后,我想起来了,我的es是设置了systemctl 系统服务启动的,然后查看自己的elasticsearch.service文件,如下图

想起来systemctl 服务里面应该要调整es用户最大打开文件数,修改后,完美解决(未修改前只有65535 <137820)

translog过多的问题没有解决,然后观察了一会,es打开文件的数量缓慢上升,唉,还是没有真正解决translog问题,再查查资料把!

补充一下(待验证)

es打开文件过多问题,我突然想到是不是我单节点的索引有一些问题,然后我首先

1.设置默认分片和副本数,确保以后的索引是正常的:

curl -XPUT 'http://localhost:9200/_template/template_http_request_record' -H 'Content-Type: application/json' -d '{"index_patterns": ["*"],"settings": {"number_of_shards": 1,"number_of_replicas": 0}}'

2.清除现有索引的缓存:

进入kibana界面,

清除索引缓存

冲洗索引数据

3.再次查看es打开文件数量,数量已经下降


版权声明:本文为CSDN博主「weixin_44157851」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/weixin_44157851/article/details/106765115

相关推荐
老蒋新思维6 小时前
创客匠人启示:破解知识交付的“认知摩擦”——IP、AI与数据的三角解耦模型
大数据·人工智能·网络协议·tcp/ip·重构·创客匠人·知识变现
爱埋珊瑚海~~6 小时前
基于MediaCrawler爬取热点视频
大数据·python
工程师丶佛爷6 小时前
从零到一MCP集成:让模型实现从“想法”到“实践”的跃迁
大数据·人工智能·python
2021_fc6 小时前
Flink笔记
大数据·笔记·flink
Light607 小时前
数据要素与数据知识产权交易中心建设专项方案——以领码 SPARK 融合平台为技术底座,构建可评估、可验证、可交易、可监管的数据要素工程体系
大数据·分布式·spark
zyxzyx497 小时前
AI 实战:从零搭建轻量型文本分类系统
大数据·人工智能·分类
五阿哥永琪8 小时前
SQL中的函数--开窗函数
大数据·数据库·sql
程序员小羊!8 小时前
数仓数据基线,在不借助平台下要怎么做?
大数据·数据仓库
火山引擎开发者社区9 小时前
两大模型发布!豆包大模型日均使用量突破 50 万亿 Tokens
大数据·人工智能
GEO-optimize10 小时前
2025年末GEO服务商推荐甄选:综合实力测评及优选指南
人工智能·搜索引擎·geo