数据库的实时同步和异步同步

一、背景

网络系统的数据集群由5台数据库组成,其中:有1台数据库负责写入,4台数据库负责读取。

二、主要难题

负责写入数据库的最新记录,需要用网络来更新到其他的4台读取数据库。

三、数据同步一致的时机

(一)立即同步

每次有数据更新,就立刻循环写入每个读取数据库。

缺点:可能会阻塞在网络写入和网络读取阶段。

可以开启4个线程,异步更新。

写入频繁,其他的读取数据库也会更新频繁;最终是所有的数据都要频繁的更新。

(二)队列缓冲同步

在2秒内同步,留一些缓冲时间,减少瞬间的任务量。

主要做法:

用一个队列来缓冲。

当写数据库有更新时,把SQL语句作为任务入队给队列。

用一个线程匀速的出队任务,同步给4个数据库。

四、数据库同步时,传递什么内容

注意:避免数据库写入二进制大文件和长文本,防止耗时太长,影响体验。

(一)传递原始的SQL语句

把SQL语句原样发给其他4个数据库执行。

(二)传递日志增量数据

对于MySQL数据库来说,有redo的bin二进制日志数据,可以传给其他负责查询的数据库。

(三)数据库文件备份

把最新的数据库修改部分,传给其他查询数据库,添加到旧文件的后面,或者覆盖内容,实现内容更新。

难点:找到内容更新的记录。

相关推荐
东北小狐狸-Hellxz20 分钟前
Redis 哨兵搭建+ACL权限控制
数据库·redis
研究员子楚1 小时前
GEO行业发展标准体系白皮书V2.0-第09卷 · 适配篇:硅基主权伦理宪章与行业适配宣言
数据库·人工智能·geo
l134062082353 小时前
鸿蒙实战:RDB 数据库设计与 DatabaseService
数据库·华为·harmonyos·鸿蒙系统
山峰哥3 小时前
数据库工程与索引策略实战指南‌
服务器·数据库·sql·oracle·深度优先
谙忆3 小时前
图片版权保护工程实战:明水印、盲水印(DCT隐写)、Referer防盗链与签名URL怎么落地
数据库
KaMeidebaby3 小时前
卡梅德生物技术快报|抗体合成:多肽抗体合成工程化方案:Nsp2 保守肽多抗制备与多维度验证
前端·网络·数据库·人工智能·算法
xfhuangfu4 小时前
19c CDB架构下的数据库启动和停止
数据库·架构
神道君天下4 小时前
填充与积累:积分与面积的可视化
数据库·oracle
爱折腾的小黑牛4 小时前
小程序云开发数据模型设计:礼账系统的三表结构
数据库·架构
爱折腾的小黑牛4 小时前
礼账小程序的数据安全方案:加密与备份
数据库·安全