一、背景
网络系统的数据集群由5台数据库组成,其中:有1台数据库负责写入,4台数据库负责读取。
二、主要难题
负责写入数据库的最新记录,需要用网络来更新到其他的4台读取数据库。
三、数据同步一致的时机
(一)立即同步
每次有数据更新,就立刻循环写入每个读取数据库。
缺点:可能会阻塞在网络写入和网络读取阶段。
可以开启4个线程,异步更新。
写入频繁,其他的读取数据库也会更新频繁;最终是所有的数据都要频繁的更新。
(二)队列缓冲同步
在2秒内同步,留一些缓冲时间,减少瞬间的任务量。
主要做法:
用一个队列来缓冲。
当写数据库有更新时,把SQL语句作为任务入队给队列。
用一个线程匀速的出队任务,同步给4个数据库。
四、数据库同步时,传递什么内容
注意:避免数据库写入二进制大文件和长文本,防止耗时太长,影响体验。
(一)传递原始的SQL语句
把SQL语句原样发给其他4个数据库执行。
(二)传递日志增量数据
对于MySQL数据库来说,有redo的bin二进制日志数据,可以传给其他负责查询的数据库。
(三)数据库文件备份
把最新的数据库修改部分,传给其他查询数据库,添加到旧文件的后面,或者覆盖内容,实现内容更新。
难点:找到内容更新的记录。