线上CPU飙升问题如何排查 - Java版

Java线上CPU飙升问题如何排查

CPU飙高是一个在线上环境常见且严重的问题,通常会导致系统响应变慢、服务不可用,甚至引发崩溃

对于后端开发来说,学会排查处理问题也是自身综合能力的体现,有效的梳理排查和解决CPU飙高问题的思路

常见的CPU飙高原因

线上CPU飙高,一般是由以下这些因素引起的:

  1. 代码出现死循环,结合应用日志分析
  2. 大量FullGC,结合JVM监控GC相关指标,可能内存也存在异常
  3. 突发压力,通过反向代理的 Access Log 进行细化定位
  4. 不当的线程同步,比如死锁,结合线程堆栈分析deadlock
  5. 大量的线程上下文切换
  6. 出现耗时过长的密集计算,通常需要结合监控平台响应时间来分析

案例分析

假设线上有一份SpringBoot的Web工程CpuLoadDemo,写一个死循环代码,把代码跑起来

java 复制代码
@RestController
public class Controller {

    @GetMapping("/cpuLoadTest")
    public String cpuLoadTest() {
        while(true) {
            
        }
    }
}

1.定位高CPU占用进程

服务启动后,在浏览器地址栏访问http://ip:port/cpuLoadTest,浏览器会一直处于等待状态,用top命令查看

可以看到我们刚才启动的java进程几乎快占满了CPU,记录下这个java进程的进程ID为1

2.根据进程ID查找导致CPU飙高的线程

shell 复制代码
ps H -eo pid,tid,%cpu | grep 2044058

这个命令显示3列,第一列为进程2044058,第二列位2044058进程内的各个线程ID,第三列为各个线程所占用的CPU。

这里可以看到2044276这个线程占用的cpu最高,快占用了50%,这里我们定位到了导致CPU飙高的线程,获取这个线程ID

3.将线程ID转换为16进制

用以下命令将线程1转换为16进制

shell 复制代码
printf "%x\n" 2044276

获取到这个线程的16进制为1

4.获取线程堆栈信息

执行以下命令获取这个高CPU线程的堆栈信息

shell 复制代码
jstack 1|grep -A 10 2044276

jstack <线程ID> :用于查找这个java进程的所有的线程快照,线程快照包含线程堆栈的详细信息

从线程的堆栈信息可以看出,问题代码在cpuloaddemo着个模块的Controller代码的第11行,位于cpuloadTest函数

5.根因分析

检查Controller代码的第11行

发现11行这里写了死循环,导致程序运行过程中CPU飙高

总结

线上CPU使用率突然飙升是一个相当复杂的问题,可能由很多种原因引发,本文举的只是一个简单案例,真实场景远比这复杂的多

通过简单案例的思路梳理,在脑海里有排查问题的思路,从基础的初步检查和问题定位开始,逐步深入分析线程、代码,以及系统资源

和运行环境。同时,构建全面的性能监控体系、定期进行代码评审与系统优化,开展压力测试等,都是预防CPU飙高问题的重要手段

相关推荐
云起SAAS2 分钟前
手机靓号选号商城H5源码 完整前后台可直接运行
前端·javascript·后端
the局外人25 分钟前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
苏三说技术25 分钟前
分库分表要被淘汰了?
后端
__underline__28 分钟前
冷门Python知识点006篇:Python 类体里的名字,能被"凭空造出来"
后端·python
nice_lcj52033 分钟前
【从零理解计算机网络 · 05】TCP 四次挥手:为什么挥手要四次、TIME_WAIT 在等什么
后端·tcp/ip·计算机网络·面试·tcp·四次挥手·time_wait
Moment41 分钟前
RSI 是怎样让 AI 改进自己的 ❓❓❓
前端·后端·面试
Cosolar1 小时前
从 50ms 到 3 分钟:淘特动线 Agent 如何把 LLM 塞进一个有预算约束的实时系统
人工智能·后端·agent
Cosolar1 小时前
拆开「研发数字人」:一个 Agent 系统真正的护城河,是被结构化的判断力
人工智能·后端·架构
cong_2 小时前
🐟 我把摸鱼岛重写了!现在群聊还能装进一张表格
前端·后端·github
nice_lcj5203 小时前
【从零理解计算机网络 · 04】TCP 三次握手:为什么恰好是三次
java·后端·tcp/ip·计算机网络·面试·tcp·三次握手