线上CPU飙升问题如何排查 - Java版

Java线上CPU飙升问题如何排查

CPU飙高是一个在线上环境常见且严重的问题,通常会导致系统响应变慢、服务不可用,甚至引发崩溃

对于后端开发来说,学会排查处理问题也是自身综合能力的体现,有效的梳理排查和解决CPU飙高问题的思路

常见的CPU飙高原因

线上CPU飙高,一般是由以下这些因素引起的:

  1. 代码出现死循环,结合应用日志分析
  2. 大量FullGC,结合JVM监控GC相关指标,可能内存也存在异常
  3. 突发压力,通过反向代理的 Access Log 进行细化定位
  4. 不当的线程同步,比如死锁,结合线程堆栈分析deadlock
  5. 大量的线程上下文切换
  6. 出现耗时过长的密集计算,通常需要结合监控平台响应时间来分析

案例分析

假设线上有一份SpringBoot的Web工程CpuLoadDemo,写一个死循环代码,把代码跑起来

java 复制代码
@RestController
public class Controller {

    @GetMapping("/cpuLoadTest")
    public String cpuLoadTest() {
        while(true) {
            
        }
    }
}

1.定位高CPU占用进程

服务启动后,在浏览器地址栏访问http://ip:port/cpuLoadTest,浏览器会一直处于等待状态,用top命令查看

可以看到我们刚才启动的java进程几乎快占满了CPU,记录下这个java进程的进程ID为1

2.根据进程ID查找导致CPU飙高的线程

shell 复制代码
ps H -eo pid,tid,%cpu | grep 2044058

这个命令显示3列,第一列为进程2044058,第二列位2044058进程内的各个线程ID,第三列为各个线程所占用的CPU。

这里可以看到2044276这个线程占用的cpu最高,快占用了50%,这里我们定位到了导致CPU飙高的线程,获取这个线程ID

3.将线程ID转换为16进制

用以下命令将线程1转换为16进制

shell 复制代码
printf "%x\n" 2044276

获取到这个线程的16进制为1

4.获取线程堆栈信息

执行以下命令获取这个高CPU线程的堆栈信息

shell 复制代码
jstack 1|grep -A 10 2044276

jstack <线程ID> :用于查找这个java进程的所有的线程快照,线程快照包含线程堆栈的详细信息

从线程的堆栈信息可以看出,问题代码在cpuloaddemo着个模块的Controller代码的第11行,位于cpuloadTest函数

5.根因分析

检查Controller代码的第11行

发现11行这里写了死循环,导致程序运行过程中CPU飙高

总结

线上CPU使用率突然飙升是一个相当复杂的问题,可能由很多种原因引发,本文举的只是一个简单案例,真实场景远比这复杂的多

通过简单案例的思路梳理,在脑海里有排查问题的思路,从基础的初步检查和问题定位开始,逐步深入分析线程、代码,以及系统资源

和运行环境。同时,构建全面的性能监控体系、定期进行代码评审与系统优化,开展压力测试等,都是预防CPU飙高问题的重要手段

相关推荐
大鸡腿同学1 小时前
身弱武修法:玄之又玄,奇妙之门
后端
轻语呢喃3 小时前
JavaScript :字符串模板——优雅编程的基石
前端·javascript·后端
MikeWe3 小时前
Paddle张量操作全解析:从基础创建到高级应用
后端
岫珩3 小时前
Ubuntu系统关闭防火墙的正确方式
后端
心之语歌3 小时前
Java高效压缩技巧:ZipOutputStream详解
java·后端
不死的精灵4 小时前
【Java21】在spring boot中使用ScopedValue
java·spring boot·后端
M1A14 小时前
TCP/IP协议精解:IP协议——互联网世界的邮政编码系统
后端·网络协议·tcp/ip
逸风尊者4 小时前
开发易掌握的知识:GeoHash查找附近空闲车辆
java·后端
程序猿阿越6 小时前
Kafka源码(一)Controller选举与创建Topic
java·后端·源码
程序员爱钓鱼6 小时前
Go语言项目工程化 — 常见开发工具与 CI/CD 支持
开发语言·后端·golang·gin