记录一次割接后的性能复核。时间线、样本、判断和回滚点都留在下面,方便下次遇到同类问题时照着走。
示例环境:所有语句、行数、耗时、等待事件均为脱敏教学示例,只用于说明复核方法。
时间线
- 割接当晚 22:00:完成切换,健康检查通过;
- 22:30:应用连接正常,抽了三条 OLTP 语句,耗时和基线接近;
- 次日 08:10:报表任务开始,陆续出现「比昨天慢」的反馈;
- 08:40:取到第一条样本,同一报表 SQL 从 1.8s 涨到 4.6s;
- 09:00:拉出割接前一周的负载快照,开始归一化;
- 09:40:确认计划从索引扫描变成全表扫描,估算 800 行、实际 27,000 行;
- 10:10:更新统计信息,重跑,耗时降到 2.4s;
- 10:40:剩余差距由数据量增长解释,复核结束,未回滚。
取证:先拿三样东西
- 割接前的负载快照:语句、返回行数、并发、数据总量;
- 割接后的同语句样本:同一参数、同一时段,至少三次;
- 两边的执行计划:不只看耗时,要看访问路径和估算行数。
这三样缺一样,后面的判断都容易变成争论。
基线对比
| 项目 | 割接前 | 割接后 | 变化 |
|---|---|---|---|
| 返回行数 | 12,000 | 27,000 | +125% |
| 数据总量 | 1.1 亿 | 1.4 亿 | +27% |
| 单次耗时 | 1.8s | 4.6s | +156% |
| 每万行耗时 | 1.5s | 1.7s | +13% |
| 访问路径 | 索引扫描 | 全表扫描 | 变化 |
| 估算/实际 | 1,200/1,200 | 800/27,000 | 偏差 30 倍 |
归一化后只差 13%,说明大头是数据增长。但访问路径确实变了,这一部分不能算预期内。
判断:问题在统计信息
估算 800 行、实际 27,000 行,偏差 30 多倍。割接时统计信息没有一起迁过来,自动收集还没跑到这张表。这个信号比「哪个索引少了」更直接。
处理顺序:
- 先收集统计信息,重跑同语句;
- 计划回到索引扫描,耗时 2.4s;
- 再对比剩余差距,确认由数据量解释;
- 不加索引,不改 SQL,观察一天。
回滚点
这次没有触发回滚,但回滚条件提前写了:
- 同语句同参数同数据量,归一化后仍慢 2 倍以上;
- 出现金额、日期、排序结果不一致;
- 更新统计信息后计划仍无法回到基线,且业务高峰临近。
回滚点记的是「切回旧库 + 应用连接串切换 + 校验三条核心报表」,不是一句「可以回滚」。回滚耗时按 30 分钟预留,实际没有用到。
复盘:下次割接前要补的
- 统计信息随数据一起迁移,或割接后立即收集;
- 割接前留一份 Top 20 报表 SQL 的基线与计划;
- 割接后第一晚安排报表时段的专项观察;
- 回滚点写成可执行步骤,不只写条件;
- 复核表固定四列:基线、当前、归一化、结论。
小结
这次没有加索引,也没有回滚。真正解决问题的是「先归一化、再看计划、最后定位统计信息」这个顺序。割接后的第一批慢查询,最怕的不是慢,而是一上来就改。
示例环境:表名、行数、执行计划和耗时均为脱敏教学示例,仅用于说明方法,不代表任何生产环境或产品性能。
补充:大表怎么比
几千万行的表,一次性 FULL OUTER JOIN 会拖垮实例。我的做法是分片:
- 按业务键范围分片,每片 100 万行左右;
- 每片单独比,结果落临时表;
- 所有分片跑完,再汇总差异;
- 记录每片的起止时间和差异数,方便定位。
分片比对的好处是可中断、可重跑。中间某一片失败,不用从头再来。
补充:校验期间的锁和 IO
校验 SQL 本身会占资源。跑之前确认三件事:有没有长事务、有没有在跑批、磁盘和 IO 余量够不够。能读备库就读备库,不能读备库就限流,别让校验把业务拖慢。
补充:结果怎么留档
差异结果不要只留在聊天窗口。落一张表,字段至少包括:批次、表名、业务键、差异类型、源值、目标值、定性、owner、关闭时间。下次复盘,直接按批次查。
示例环境:表名、字段、差异条数、样本值均为脱敏教学示例,仅用于说明校验方法,不代表任何生产环境或产品行为。
补充:这次没做的事
没有做全量 SQL 回归,只比了 Top 20;没有做压测,只看了真实流量;没有改任何索引,只更新了统计信息。范围小,结论也有限,所以报告里写的是「本次复核未发现其他回退」,不是「系统没有问题」。
示例环境:表名、行数、执行计划和耗时均为脱敏教学示例。
补充:怎么判断是不是数据倾斜
同一语句换几个参数值分别跑,如果只有某个值特别慢,且估算行数与实际行数差距很大,先怀疑数据分布,而不是索引。
补充:复核时怎么和业务对齐
业务只关心两件事:什么时候能恢复、恢复后数据对不对。所以复核报告不要只写耗时,要写「哪几条核心报表已恢复」「哪几条还要等」。业务听得懂这两句,才愿意给你时间做技术排查。
补充:复核单的留档
复核单不只看结论,还要看证据。基线截图、计划文本、样本 SQL、更新统计信息的时间,四样附在单后,下次同类问题可以直接对照。
示例环境:文中数字与场景均为脱敏教学示例。
补充:复核记录写给谁
写给三天后的自己,也写给下一班值班人。所以时间、样本、判断依据、回滚点都要写全,不能只写「已处理」。三天后你会忘记当时的判断过程,记录是最直接的线索。
示例环境:文中表名、行数、执行计划和耗时均为脱敏教学示例。
补充:这次复核的局限
只比了 Top 20 SQL,没有做全量回归;只看了一个业务时段,没有覆盖跑批高峰;没有做压测。结论只适用于「已发现的慢查询」,不能推导出「系统整体没有回退」。
示例环境:文中表名、行数、执行计划和耗时均为脱敏教学示例。
补充:下次要提前准备
割接前把 Top 20 SQL、计划、返回行数、并发数导出成一个文件,放在值班手册旁边。真出问题时,打开就能比,不用临时翻监控。
示例环境:文中表名、行数、执行计划和耗时均为脱敏教学示例。
补充:记录里的三个「不」
不写「应该没问题」,写「已验证哪几项」;不写「已处理」,写「处理动作和验证结果」;不写「观察中」,写「观察窗口和判断标准」。三个「不」能让记录在三天后仍然可用。
示例环境:文中表名、行数、执行计划和耗时均为脱敏教学示例。