五花八门客户问题(BUG) - 数据库索引损坏

问题

曾经有个客户问题,让我们开发不知所措了很久。简单点说就是客户的index周期性的损坏,即使全部重建后经历大约1~2周数据update后也会坏掉。导致的直接结果:select出来的数据不对。问题很严重。

直接看损坏的index文件看不出什么蛛丝马迹,因为它已经面目全非。所以我们一直想拿到第一条导致update出错的insert、update,或者delete.

开始探索

沿着上面提到的思路,给力的support写了一个trigger,只要每次更新(insert、update,或者delete)数据,trigger就调用index检查程序检查index文件是否有问题。客户也比较配合的部署上了,但是只过了几天就禁用掉了,因为每次检查index文件都耗时巨大,直接拖慢了客户business performance。

另寻他路

除了trigger,我们还可以出diagnostic build, 基本就是往怀疑的地方加log,此种办法耗时耗力:先在对应的版本上改代码-> 编译 -> 发给客户 -> 客户部署,重启数据库. 一般来往一次耗时一两周,而且一次都不一定成功。

后来我又想出一个办法:客户发我们问题表,同时我们帮客户记录下客户的所有更新直到select结果不对。我们有继承数据(index没问题的表),在实验室一条条的重复更新客户操作即可。这个办法涉及客户数据,取决于他们在不在乎。好在客户不care这些。

BUG

后来我们真的在实验室重现了,罪魁祸首竟然是index建在最后一个字段大量更新后就会有问题。看来测试不能放过任何一种情况啊,起码得设计三个字段然后所有可以创建index的列的组合都要设计test case。

附加产出

如何记录客户的更新:我们有一个replication功能(本人负责),正常是把更新发给另外一台机器的,但也可以暂时不发而是写入一个log文件,于是我拿到log文件就拿到了客户的更新。

把log文件中的更新写入表:我写了一个replay.py解析log文件中的每一条更新,调用数据库接口写入表中。

相关推荐
haogexiaole3 小时前
Redis优缺点
数据库·redis·缓存
在未来等你3 小时前
Redis面试精讲 Day 27:Redis 7.0/8.0新特性深度解析
数据库·redis·缓存·面试
新法国菜4 小时前
MySql知识梳理之DML语句
数据库·mysql
老华带你飞4 小时前
校园交友|基于SprinBoot+vue的校园交友网站(源码+数据库+文档)
java·数据库·vue.js·spring boot·论文·毕设·校园交友网站
许泽宇的技术分享4 小时前
Text2API与Text2SQL深度对比:自然语言驱动的数据交互革命
数据库·windows·microsoft
两张不够花7 小时前
Shell脚本源码安装Redis、MySQL、Mongodb、PostgreSQL(无报错版)
linux·数据库·redis·mysql·mongodb·postgresql·云计算
Java 码农8 小时前
nodejs 集成mongodb实现增删改查
数据库·mongodb
少陵野小Tommy8 小时前
Python能用古诗词数据库做什么7:根据标题、诗句查找诗歌
开发语言·数据库·python
khystal10 小时前
HUMS 2023齿轮箱数据分析
数据库·数据分析·信号处理
Warren9810 小时前
Spring Boot 整合网易163邮箱发送邮件实现找回密码功能
数据库·vue.js·spring boot·redis·后端·python·spring