数据库性能优化手记:一次从KWR到改代码的完整排查

上个月我们库上出了一件怪事。没有发版,没有大促,TPS 却从 1560 掉到了 1149,降幅 26%。业务方第一反应是数据库出问题了。DBA 的第一反应是业务变了。查了一周,最后发现两个问题叠在一起。一个缺索引,一个存储过程里藏着一个循环。

这次数据库性能优化排查,走的是金仓数据库 KingbaseES 全链路诊断的完整路子。从 KWR 巡检一路下钻到代码行级热点。过程挺典型的,写出来给同行参考。

@toc

一、第一步永远是看快照,不是猜

接到告警后,很多人第一反应是上库翻 active 会话。我的习惯不太一样。先对比 KWR 的两个快照,让数字告诉你差异在哪。

KWR 是金仓的性能巡检工具。常态开启、损耗很低,会定期打快照。这里多说一句快照的机制。它隔一段时间给整个实例的活动拍一张"存照"。把这段时间的等待事件、IO、语句统计都记下来。分析问题的时候,拿异常时段的快照和平时的基线一比,差异就摆在纸面上了。这个方法的关键前提是,平时就要留基线。没有基线,出了事连"正常是什么样"都说不清。把异常时段的快照和基线一比,几个数字立刻跳出来了:

指标 基线快照 异常快照 变化
每秒事务 1560.34 1149.15 -26.35%
Tuples Return 100,405,494 1,544,350,794 +1438.11%
Blocks Hit 923,067 17,767,325 +91.81%
Execute Calls 95,568 69,987 -26.77%

把两张快照的负载分析从报告里导出来,就是下面这张表的样子。红框那一行是每秒事务数,其余几个跳脚的指标也都圈在里面:

解释一下第二行。Tuples Return 是数据库返回的行数,涨了 14 倍多。事务量在降,返回的行数却在暴涨。这说明有语句在做大量无意义的扫描。缓冲命中也翻了倍。典型的"用更多内存和 IO 干同样的事"。

到这一步,方向已经清楚了。问题出在某条 SQL 上,不是资源不够。

二、TOP SQL 下钻:把热点链拉出来

KWR 报告里有个子报告,叫"按数据库时间排序的 TOP SQL"。这次它派上了大用场。因为这个版本支持语句级的 PL/SQL 下钻,能展开存储过程内部的调用关系。

展开第一层,热点就是它:fn_calc_order_b($1),占掉 99.12% 的数据库时间。继续往下钻:

  • 第 1 层:fn_resolve_order_segment 占 62.32%;
  • 第 2 层:fn_get_customer_profile 占 62.14%;
  • 第 3 层:一条具体的查询语句,占 60.65%------SELECT CASE WHEN credit_score >= ... FROM biz_customer_profiles WHERE customer_code = ...。

三层钻完,问题语句找到了。但 KWR 到这里就到了能力边界。它看不到执行计划。下一步换工具。

三、kbbadger:执行计划揭案

把相关日志喂给 kbbadger,拿到了这条语句的真实执行计划。真相大白:

ini 复制代码
Seq Scan on biz_customer_profiles
  (cost=0.00..439.00 rows=1 width=4)
  (actual time=0.863..4.363 rows=1 loops=1)
  Filter: ((customer_code)::text = ($1)::text)
  Rows Removed by Filter: 21999

两个关键信息。第一,优化器走的是顺序扫描,没有用索引。第二,每查一次,要过滤掉 21999 行才留下 1 行。这条语句被调用了 6 万多次。每次都全表扫一遍。

解释一下这两个数字为什么扎眼。顺序扫描本身不是错误。小表全扫一遍甚至比走索引还快。但两万行里挑一行、还被外层循环驱动着调几十万次,这个组合就是灾难了。索引扫描每次的开销,和这完全是两个量级。优化器选错路的原因很简单。表上压根没有 customer_code 的索引,它没得选。

表上确实没有 customer_code 的索引。补上:

sql 复制代码
CREATE INDEX idx_biz_customer
    ON biz_customer_profiles (customer_code);

索引建完,复查 KWR。Tuples Return 从 1.5 亿降到 560 万。每事务返回行数降了 93.8%。TPS 回到 1413。

有了恢复,但没到基线。这就是这次排查有意思的地方。线索没断,只是换了地方。

四、"数据库时间空洞":剩下的时间去哪了

再翻 KWR 的调用树,我发现一个奇怪的现象。另一条热点 fn_capital_fee_by_day_b 占了 26.12% 的数据库时间。但它下面第 3 层的子调用加起来,只占了百分之几。

上层记着账,下层对不上。这个缺口,我把它叫"数据库时间空洞"。它意味着什么?意味着时间没花在 SQL 执行上,而是花在 PL/SQL 代码本身。

语句级的 KWR 到这里,又到边界了。要看代码行级别的热点,得上 PLProfiler。这个工具的原理是插桩采集。能输出函数级和代码行级的火焰图。

PLProfiler 跑出来的报告长什么样?上面是整棵调用树的火焰图,越红的地方越烫;下面直接细到每一行代码的执行次数和耗时:

装上探针跑了一段。函数级热点直接指到了 fn_capital_fee_by_day_b。被调用 31,843 次,自身耗时 118 秒。再看行级报告,三行代码吃掉了几乎所有时间:

行号 执行次数 耗时占比 代码
9 31,843 97.18% FOR d IN 1 .. p_term_days LOOP
10 11,622,695 91.00% IF d > p_grace_days THEN
12 10,667,405 43.29% v_weighted := v_weighted + ...

看明白了吗?这是一个按分期天数循环累加资金占用费的函数。外层循环每天迭代一次。循环体内还要做判断和累加。业务量上来之后,这个循环执行了上千万次。

五、把循环改成公式

这种问题的解法,不在数据库参数里,在数学里。

循环累加的内容,本质是一个等差数列求和。免息期后的有效计息天数乘以权重,加起来就是 (N-G) + (N-G-1) + ... + 1。公式一步就能算出来。改造后的代码:

sql 复制代码
-- 改造前:按天循环累加
FOR d IN 1 .. p_term_days LOOP
    IF d > p_grace_days THEN
        v_weighted := v_weighted + p_principal * (p_term_days - d + 1);
    END IF;
END LOOP;

-- 改造后:等差数列求和,一步到位
v_effective_days := GREATEST(p_term_days - p_grace_days, 0);
v_weighted := p_principal * v_effective_days
            * (v_effective_days + 1) / 2;

业务逻辑完全等价。运算量从 O(N) 降到 O(1)。

改这种代码,动手前有两件事必须做。一是等价性验证。把新旧两版函数放一起双跑,拿几个月的历史数据对比结果。一分钱差错都不能有。毕竟算的是资金占用费。二是灰度切换。先在测试环境跑全量业务,再小流量上线观察一周,确认无误才全量放开。性能改造翻车的案例,一半不是改得不对。是没验证就上了。

最终的 KWR 复查,数字是这样的。每秒事务 1413 → 3968 。比原始基线的 1560 还高出一大截。Tuples Return 降了 80.6%。TPS 恢复到预期标准,结案。

六、复盘:这次排查的方法论

回看整个流程,其实是一条清晰的工具链路。每一棒都有分工:

  1. KWR 巡检回答"哪里慢、何时慢"。快照对比锁定异常时段和热点语句链;
  2. kbbadger 回答"执行计划为什么异常"。揪出顺序扫描;
  3. KWR 调用树发现"时间空洞"。判断剩余时间去向;
  4. PLProfiler 回答"哪一行代码慢"。插桩定位到循环;
  5. 最后一步是人。把循环看出数学问题。

有三条经验值得记下来。第一 ,工具链要配套。KWR 管语句级、PLProfiler 管行级、PLTrace 管运行态透视。单靠一个工具的视角,一定会有盲区。第二 ,"预估行数和实际行数对不上""上层时间和下层时间对不上"这两个信号,是最值钱的线索。看到就要追。第三,数据库性能优化做到最后,很多答案不在数据库里,在代码里。补索引只恢复了一半。真正的翻盘,是改掉那个循环。

性能问题从来不是玄学。工具把路铺好了,剩下的就是一步一步走过去。这周最大的收获不是那两个数字。是团队从此有了一套完整的排查套路。

七、亡羊补牢:这次之后立下的三条规矩

案子结了,但事情没完。同样的坑,不立规矩就还会有人踩进去。复盘会上我们定了三条,写进了团队的开发规范。

第一条,索引评审进发版流程。 这次的问题表是两年前建的。当时只有主键索引。后来业务查询换到了 customer_code 这一列,没人想起来要补索引。现在的规矩是,新表上线前,开发要列出预估的高频查询列,DBA 对照建索引。老表的业务查询模式变了,改动要同步知会 DBA。一句话,索引不能等人想起来才建。

第二条,统计信息巡检制度化。 这次病例里循环那一段能藏这么久,统计信息的维护缺位是帮凶。现在我们每周跑一遍巡检脚本。把大表的 reltuples 和实际行数做个对比。偏差超过一个量级的表,直接进 ANALYZE 队列。自动 ANALYZE 的触发阈值,也按表的变更频率分了档。写入频繁的表单独收紧。

第三条,新 SQL 上线前过一眼执行计划。 不求每条都人工审。但核心链路的新增语句,上线前要用 EXPLAIN 看一眼。走没走索引、预估行数量级对不对。花三十秒,省一次半夜被告警叫醒。

三条规矩归拢成一张表,贴在开发规范的首页。比翻一段段文字好查:

规矩 针对这次的坑 具体动作
索引评审进发版流程 两年的老表没跟上查询变化 新表上线前列高频查询列,DBA 对照建索引
统计信息巡检制度化 循环在统计信息缺位下藏了很久 每周比对 reltuples 和实际行数,偏差超量级进 ANALYZE 队列
新 SQL 上线前过执行计划 顺序扫描被外层循环驱动着调了几万次 核心链路新增语句先 EXPLAIN 看一眼

这三条,没有一条是什么高深的东西。都是"早就知道"的常识。但性能优化这个领域,大部分事故不是出在不知道。是出在知道而没做。这次排查花了一周,立规矩只花了一个会。希望下一次,规矩能把这一周省下来。

相关推荐
城北徐宫19 小时前
MySQL数据类型整理
数据库·mysql
数据库小学妹19 小时前
数据库容量规划:四个数与扩容触发线
运维·数据库·后端
时间的拾荒人19 小时前
Redis Cluster 集群详解:分片算法、搭建、故障处理与扩容实战
数据库·redis·算法·集群
纆兰1 天前
MySQL的多表查询
数据库·mysql
七夜zippoe1 天前
Nexent 模型配置:4 字段与 9 个槽位
数据库·人工智能·模型·nexent
进击的荆棘1 天前
MySQL——表的操作
数据库·mysql
nice_lcj5201 天前
MySQL 慢查询与 EXPLAIN:怎么定位、怎么优化
java·数据库·后端·mysql
OceanRoy1 天前
数据库表的设计
数据库·内连接·外连接·er图·表的约束·三大范式·多表连接
Pniubi1 天前
怎么排查慢SQL,怎么解决?
java·数据库·sql