数据库的实时同步和异步同步

一、背景

网络系统的数据集群由5台数据库组成,其中:有1台数据库负责写入,4台数据库负责读取。

二、主要难题

负责写入数据库的最新记录,需要用网络来更新到其他的4台读取数据库。

三、数据同步一致的时机

(一)立即同步

每次有数据更新,就立刻循环写入每个读取数据库。

缺点:可能会阻塞在网络写入和网络读取阶段。

可以开启4个线程,异步更新。

写入频繁,其他的读取数据库也会更新频繁;最终是所有的数据都要频繁的更新。

(二)队列缓冲同步

在2秒内同步,留一些缓冲时间,减少瞬间的任务量。

主要做法:

用一个队列来缓冲。

当写数据库有更新时,把SQL语句作为任务入队给队列。

用一个线程匀速的出队任务,同步给4个数据库。

四、数据库同步时,传递什么内容

注意:避免数据库写入二进制大文件和长文本,防止耗时太长,影响体验。

(一)传递原始的SQL语句

把SQL语句原样发给其他4个数据库执行。

(二)传递日志增量数据

对于MySQL数据库来说,有redo的bin二进制日志数据,可以传给其他负责查询的数据库。

(三)数据库文件备份

把最新的数据库修改部分,传给其他查询数据库,添加到旧文件的后面,或者覆盖内容,实现内容更新。

难点:找到内容更新的记录。

相关推荐
通信瓦工16 分钟前
利用浊度和电导率测量确定乙二醇基流体的质量
网络·数据库·ai
小马同学-1 小时前
mysql数据库原理
数据库·mysql
东方护航数据恢复(深圳)1 小时前
政务信创案例:达梦 DM8 数据库掉电页损坏,48 小时修复实录【东方护航数据恢复深圳店】
数据库·数据恢复·it运维·服务器数据恢复·二次开盘·硬盘开盘
AC赳赳老秦2 小时前
OpenClaw 数据引用规范自动生成:为公开数据构建可信来源标注与标准引用体系
大数据·开发语言·汇编·数据库·人工智能·deepseek·openclaw
小蒜学长3 小时前
校园社团招新网站的设计与实现(代码+数据库+LW)
java·数据库·spring boot·后端·校园社团招新网站
布莱克6054 小时前
MySQL 增删改查(CRUD)语法详解
数据库·mysql·增删改查
Dovis(誓平步青云)4 小时前
几个方案来回选不定?做一个随时切换的候选推荐页
android·java·服务器·开发语言·javascript·数据库·智能化
2501_933670795 小时前
2027届大数据管理与应用求职数字化转型顾问:项目、SQL、业务理解怎么排优先级
数据库·sql
东方护航数据恢复(深圳)5 小时前
物流案例:勒索病毒 Mallox 加密 ERP 数据库,旧备份 + 残留页重组实录【东方护航数据恢复深圳店】
数据库·数据恢复·勒索病毒·二次开盘·开盘·数据镜像
.Hypocritical.5 小时前
Redis从入门到实战:核心原理、场景落地与避坑指南
数据库·redis·缓存