(k8s中)docker netty OOM问题记录

1、首先查看docker的内存占用情况:

docker top 容器名 -u 查看内存cpu占用率(容器名来自kubectl describe pod xxx或者docker ps)

可以看出内存一直增长,作为IO代理这是不正常的。

2、修改启动参数和配置文件

需要注意的是为了安全考虑,docker默认是不能使用一些调试手段的,需要修改启动参数和yaml

docker file中增加启动参数(yaml中应该也可以):

c 复制代码
ENTRYPOINT ["java", "-jar", "/usr/local/bin/access-1.0-SNAPSHOT.jar", "-XX:NativeMemoryTracking=detail"]

yaml增加:

c 复制代码
apiVersion: apps/v1
kind: Deployment
.......
spec:
  ........
  template:
    ........
    spec:      
      containers:
        - name: access
          .........          
          securityContext:
              capabilities:
                add: ["SYS_PTRACE"]

3、查看具体内存占用

各类内存增长情况:

c 复制代码
#建立内存基线
jcmd 1 VM.native_memory baseline
#与基线对比
jcmd 1 VM.native_memory summary.diff

其中1是pid,可以通过jps查看

查看当前内存具体申请源:

c 复制代码
jcmd 1 VM.native_memory detail scale=MB  

查看结果是Other的内存增长比较明显:

c 复制代码
[0x00007f76b2143b77] Unsafe_AllocateMemory0+0x87
[0x00007f769577c4ba]
                             (malloc=732MB type=Other #228)

Unsafe_AllocateMemory0一般是ByteBuf申请的内存,jvm不管理,也就是不会gc,需要自己关注申请和释放

4、自己申请的ByteBuf

自己申请的ByteBuf要么往下传递(通过ctx write或者fire read)由后面的pipe节点释放,要么自己通过release释放。

如果是写入服务器response中的content,通过ctx.writeAndFlush往下传递,由netty去管就行了。

5、在pipe的handle中收到的msg

比如服务器上收到的request,如果不是最后一个节点,则必须显式传递:ctx.fireChannelRead(msg);

如果是最后一个节点则自己手动释放,可以content.release也可以ReferenceCountUtil.release(msg);

也可以继承SimpleChannelInboundHandler,SimpleChannelInboundHandler中会释放,不用自己释放了。

如果是服务器处理一个请求回复一个响应,一般是作为最后一个节点,可以继承SimpleChannelInboundHandler。

相关推荐
月夏23 分钟前
我把全栈项目塞进已有 nginx 的服务器,卡我最久的是三个斜杠
nginx·react.js·docker
瑞克-桑切斯16 小时前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
对象存储与RustFS19 小时前
对象锁遇上版本化:删掉的对象还在,真删的又删不掉
后端·docker·云原生
遇雪长安20 小时前
wslc 来了:Docker Desktop 还要留着吗?
运维·docker·容器
csdn_aspnet21 小时前
【Docker 攻略】MySQL 安裝篇
运维·mysql·docker·容器
艺杯羹21 小时前
ufw 已 active,Docker 端口却仍对外开放的复盘
运维·docker·容器
goehou1 天前
healthcheck 配了不生效,depends_on 默认只等容器起来
docker·容器编排·ai agent·healthcheck
木头左1 天前
【Linux运维】服务器磁盘清理与Docker日志治理实战:一次巡检释放70G空间
linux·docker·磁盘清理·日志治理
Z21-X1 天前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
IT大白鼠1 天前
彭大帅的AI运维助手第 10 篇——K8s 集群探针升级记:从服务级到业务级
运维·kubernetes·aiops·彭大帅