生产k8s 应用容器内存溢出OOMKilled问题处理

**需求:**使用spring batch从上游edb接收数据压缩文件,再将文件解压后使用load将数据入库。解压后单个文件有800M左右。

**问题:**服务正常启动没有问题,且数据量少时也没有内存溢出问题。但是当数据量增大时存在内存溢出问题,服务会被强制重启。

**问题查看:**kubectl describe pod <podName> -n <namespaceName>

在reason中可以看到Pod 的状态为 Terminated,并且 Reason 字段为 OOMKilled。这表示该 Pod 是因为内存溢出(OOM,Out of Memory)被系统终止的。这种状态一般表示节点上的内存不足,无法满足 pod 的内存需求。(如果一个 pod 是因为超过了自己声明的使用限制(memory limit)而被杀死,那么它的 Reason 字段应该是 Evicted。)

解决方案:

1、增加节点内存限制;

资源管理

resources:

#最大使用

limits:

cpu: "8" # 1个cpu=1000m

memory: "16Gi"

2、增加jvm内存溢出时日志打印:

-XX:+HeapDumpOnOutOfMemoryError \

-XX:HeapDumpPath=/appabs/abslogs/dump_pid_%p_time_%t.hprof

3、修改程序逻辑:

不要批量一次将所有文件进行解压,防止磁盘空间不足、jvm直接内存不够问题。通过使用线程池一个线程解压完文件,再数据加载入库,最后删除数据文件,同时需要控制线程数不要太多,防止线程切换耗时且处理多个线程出现内存溢出问题。

相关推荐
tzhou6445238 分钟前
Kubernetes Pod 入门
云原生·容器·kubernetes
java_logo1 小时前
Dify 开源 LLM 应用开发平台企业级 Docker Compose 部署手册
docker·容器·开源·dify部署·dify部署文档·dify部署方案·dify部署教程
jarreyer2 小时前
【docker的gpu加速相关问题解决记录】
运维·docker·容器
韭菜钟2 小时前
制作自定义Docker镜像并部署使用
运维·docker·容器
椰汁菠萝2 小时前
docker部署gitlab
docker·容器·gitlab
知识分享小能手2 小时前
Ubuntu入门学习教程,从入门到精通,Ubuntu 22.04 中安装 Docker 容器 —— 知识点详解(26)
学习·ubuntu·docker
Gold Steps.2 小时前
K8s Gateway-API 标准化流量治理
容器·kubernetes·gateway
Knight_AL3 小时前
使用 Docker 快速安装 GitLab(CentOS)
docker·centos·gitlab
oMcLin3 小时前
如何在Ubuntu 20.04上配置并调优Kubernetes集群,确保在多租户环境下的高可用性与资源分配?
linux·ubuntu·kubernetes
牛奔4 小时前
Docker Compose 解决服务间 DNS 解析失败问题
运维·docker·容器