记录一次从库并行回放出现死锁的问题

目录

问题描述

环境信息

问题分析

1、从库状态检查

2、检查从库ERROR日志

解决方案

临时解决方案:

长久解决方案:

问题描述:

晚上20:00以后,收到一个TDSQL-MySQL实例所有从库延迟超过900秒告警。

环境信息:

TDSQL-MySQL版本-10.2.3

实例类型-集中式

DB内核版本-8.0.24

问题分析:

1、从库状态检查

a)登录3台从库,执行show slave status \G,检查从库seconds_behind_master,延迟确实在逐渐增加。

b)查询从库回放线程状态,执行select * from perofrmance_schema.replication_applier_status_by_worker limit 10 \G,查看参数信息APPLYING_TRANSACTION_LAST_TRANSIENT_ERROR_MESSAGE提示Deadlock found when trying to get lock;try restarting transaction

2、检查从库ERROR日志

检查从库error日志,在error日志中找到了对应的死锁记录,死锁是因为两个事务同时操作一张有唯一索引的表,执行语句为insert,执行insert时,由于有唯一索引,两个事务都需要先获取对应行记录的S锁,然后再申请X锁。问题就来了,从库并行回放的时候事务一和事务二同时获得了同一行的S锁,并且都需要申请同一行的X锁,而X锁和S锁不兼容,事务一申请X锁需要等待事务二释放S锁,事务二申请X锁也需要等待事务一的S锁释放,都持有锁且互相等待对方释放,故形成了死锁。

解决方案:

临时解决方案:

从库死锁是因为MTS多线程并行回放事务造成的,临时将从库的slave_paraller_workers参数值从64调整为0,让从库变成单线程回放,即可避免死锁。临时调整完参数等待了约两小时,预计批量已经结束,将参数调整回64,从库延迟慢慢就追平了。

长久解决方案:

a)业务侧修改批量逻辑,避免产生锁冲突。

b)尽量避免使用唯一索引,唯一索引执行insert into replace语句时,会进入duplicate key判重逻辑,需要申请S锁,有把锁放大的情况。

相关推荐
Decay__5 小时前
PostgreSQL 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
田超凡6 小时前
深入理解MySQL_经典问题总结2
mysql·java-ee
FungLeo8 小时前
FengCMS · PHP+MySQL 升级实录 · 危险默认值之殇:root/123456、认证码 8888 写进配置加载器
android·mysql·php·安全加固·fengcms
琳少_9 小时前
java程序开发笔记
java·开发语言·数据库·笔记
ZhengEnCi10 小时前
覆盖索引怎么设计:从回表代价到 MySQL 与 PostgreSQL 的落地写法
sql·mysql·postgresql
FungLeo11 小时前
FengCMS · PHP+MySQL升级实录 ·并发一致性连环坑:模板缓存、排队保存、备份恢复的竞态
mysql·缓存·php·工程实践·fengcms
Pocker_Spades_A12 小时前
工业物联网时序数据库选型:一份能直接抄走的技术规格书
数据库·物联网·时序数据库
苜蓿muxu13 小时前
缓存三大问题:穿透、击穿、雪崩
数据库·redis
FungLeo13 小时前
FengCMS · PHP+MySQL 升级实录·模型导入从“加密 SQL 码“到.fengmodel.json
sql·mysql·php·工程实践·fengcms
正在走向自律14 小时前
MySQL兼容性深度实践:建表、增删改查与迁移避坑全记录
数据库·sql·mysql·信创·数据库迁移