背景
【Vim 一下日志文件,Java 进程没了?】
文章地址:https://mp.weixin.qq.com/s/LKTw0RO-kMYkM4SJ61TIUw
背景简述:在生产服务器上使用vim查看nginx日志,日志大小有37G,而容器规格仅有8G。使用vim命令查看37G的文件,文件在加载过程中耗尽内存,触发linux oom killer机制,进而杀掉java进程。
总结整理
对于服务容器异常或者机器有问题,首先需要保证业务可用,需要及时的对相应有问题的服务进行下线,将请求流量进行切换,然后立刻重启或者增加实例,再对问题服务重启或者关闭前需要dump下堆栈信息,保存现场以便后面分析问题。
服务异常的排查点:
内存使用情况,CPU使用率,FullGC次数,IO情况等。
对于进程被killed的分析工具,可以使用dmesg。
vim在加载文件时会调用readfile函数读完文件,加载大文件会干爆内存。
linux oom killer在内存快被耗尽时会尝试杀掉一些进程,有一个打分机制,得分高的进程容易被杀掉,选择糟糕进程的机制不是很精准,存在误杀的可能。
运维规范:查看或搜索日志应使用less、grep、tail等命令,严禁使用vim命令查看日志,如需用vim编辑文件,需先确认文件大小。
dmesg工具详解
dmesg命令用于显示和控制内核环缓冲区消息。它通常用来诊断和调试系统内核相关问题。这个命令用于筛选出内核消息中与Java相关的内容。
bash
dmesg -T | grep java
具体来说,这可以帮助我们诊断与Java应用程序相关的内核级别的问题,如内存分配、I/O错误或其他系统调用异常。
Java程序可能会消耗大量内存,通过此命令可以监控Java进程是否因内存不足而导致的内核级别的错误或警告信息。
bash
dmesg -T | grep java | grep -i 'out of memory'
Java应用程序可能会进行大量的磁盘I/O操作,通过此命令可以检查Java进程是否遇到磁盘读取/写入错误。
bash
dmesg -T | grep java | grep -i 'i/o error'
通过结合dmesg -T和grep命令,可以有效地筛选和分析与Java相关的内核消息。这种方法在诊断系统级别的问题时非常有用,尤其是涉及到内存管理、I/O操作和硬件驱动的情况。根据筛选出的具体错误信息,采取相应的措施进行优化和修复。