java.io.IOException: Too many open files

java.io.IOException: Too many open files

前言:

项目最近报 java.io.IOException: Too many open files 问题,大概意思是:意味着你的应用程序尝试打开的文件描述符数量超过了系统允许的最大数量,在linux中每个进程打开的文件描述是有一定限制的。导致项目运行不起来,找了好几天,记录一下。

一、问题排查

1,查看所有进程信息

c 复制代码
-- 查看所有进程消息
jps -l
-- 找到java进程的PID
ps aux | grep 应用名称

2,下面用 lsof 命令使用讲解,排查的逻辑

lsof: list open files 【列出来打开的命令】

c 复制代码
-- 计算<进程>打开的文件数
lsof -p <进程号> | wc -l

进程 82253 打开的文件数是 2289

系统默认是 1024

命令如下

c 复制代码
-- 查看系统默认进程打开的文件个数
ulimit -n

二、 解决方案:

1,可以临时增加进行打开文件的个数

-- 将进程打开个数临时修改为 65535

ulimit -n 65535

2,查看占用端口的文件是哪个

lsof -p xxxxx

最后发现有个关于 kafka打开的文件过多

3,将所有关于kafka关闭 进程维持在200左右问题解决

问题分析:

1,之前对接kafka 做消费者时候,是有个while(true) 循环,不断拉取数据

2,现在是有个定时器,每5分钟拉取一波数据代码如下,问题出现在 每5分钟拉取一波数据,但是consumer 始终没有关闭。要关闭consumer ,进程打开数据量是有限的。【之前对接kafka都是不断轮训拉取数据使用while(true) 循环,也管自己没有考虑到,索引进行打开的文件数始终在增加】

定时器:

c 复制代码
    
    @Scheduled(cron = "0 0/5 * * * ?")
    public void physicalAlarmConsumerTask(){
        kafkaReportClient.physicalAlarmTopicConsumer();
    }

消费者:

c 复制代码
public void physicalAlarmTopicConsumer(){
        Date currentDate = new Date();
       
        // 1.配置Kafka
        Properties properties = new Properties();
        properties.put("bootstrap.servers","xxx");
        properties.put("group.id","xxx");
        properties.put("enable.auto.commit","false");
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);
        consumer.subscribe(Collections.singleton("xxxaacctopic"));
        // 2.消费消息
        ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(5000));
        // 3.数据解析

        for (ConsumerRecord<String, String> record : records) {
            JSONObject jsonObject = JSON.parseObject(record.value());
            // TODO:业务逻辑
            ...	
        }
        // 4.提交offset
        consumer.commitAsync(new OffsetCommitCallback() {
            @Override
            public void onComplete(Map<TopicPartition, OffsetAndMetadata> offsets, Exception e) {
                if (e != null){
                    log.error("xxx  commit offset is error,offsets:{},e:{}", offsets, e);
                } else {
                    log.info("xxxx offset commit success");
                }
            }
        });
    
    }
小节

1,如果在有类似 Too many open files ,看下是哪个端口下的服务

2,lsof -P -i :xxx 【指定端口占用情况】

3,lsof -p xxx 【占用端口文件是哪个,具体分析】

4,lsof -p xxxx | wc -l

注:xxx为进程号。

喜欢我的文章记得点个在看,或者点赞,持续更新中ing...

相关推荐
心愿许得无限大7 分钟前
Qt 常用界面组件
开发语言·c++·qt
2401_8582861117 分钟前
OS15.【Linux】gdb调试器的简单使用
linux·运维·服务器·开发语言·gdb
牛马baby18 分钟前
MATLAB下载安装教程(附安装包)2025最新版(MATLAB R2024b)
开发语言·matlab
shenyan~27 分钟前
关于 c、c#、c++ 三者区别
开发语言·c++
Ashlee_code39 分钟前
什么是Web3?金融解决方案
开发语言·金融·架构·eclipse·web3·区块链·php
Edingbrugh.南空43 分钟前
Flink ClickHouse 连接器数据读取源码深度解析
java·clickhouse·flink
Evand J1 小时前
【MATLAB例程】AOA与TDOA混合定位例程,适用于三维环境、4个锚点的情况,附下载链接
开发语言·matlab
机器视觉知识推荐、就业指导1 小时前
Qt 与Halcon联合开发八: 结合Qt与Halcon实现海康相机采图显示(附源码)
开发语言·数码相机·qt
NE_STOP1 小时前
SpringBoot--简单入门
java·spring
Heartoxx1 小时前
c语言-指针与一维数组
c语言·开发语言·算法