数据库的实时同步和异步同步

一、背景

网络系统的数据集群由5台数据库组成,其中:有1台数据库负责写入,4台数据库负责读取。

二、主要难题

负责写入数据库的最新记录,需要用网络来更新到其他的4台读取数据库。

三、数据同步一致的时机

(一)立即同步

每次有数据更新,就立刻循环写入每个读取数据库。

缺点:可能会阻塞在网络写入和网络读取阶段。

可以开启4个线程,异步更新。

写入频繁,其他的读取数据库也会更新频繁;最终是所有的数据都要频繁的更新。

(二)队列缓冲同步

在2秒内同步,留一些缓冲时间,减少瞬间的任务量。

主要做法:

用一个队列来缓冲。

当写数据库有更新时,把SQL语句作为任务入队给队列。

用一个线程匀速的出队任务,同步给4个数据库。

四、数据库同步时,传递什么内容

注意:避免数据库写入二进制大文件和长文本,防止耗时太长,影响体验。

(一)传递原始的SQL语句

把SQL语句原样发给其他4个数据库执行。

(二)传递日志增量数据

对于MySQL数据库来说,有redo的bin二进制日志数据,可以传给其他负责查询的数据库。

(三)数据库文件备份

把最新的数据库修改部分,传给其他查询数据库,添加到旧文件的后面,或者覆盖内容,实现内容更新。

难点:找到内容更新的记录。

相关推荐
辞旧 lekkk1 小时前
【Qt】信号和槽
linux·开发语言·数据库·qt·学习·mysql·萌新
2301_809204702 小时前
JavaScript中严格模式use-strict对引擎解析的辅助.txt
jvm·数据库·python
zjy277773 小时前
mysql如何选择合适的索引类型_mysql索引设计实战
jvm·数据库·python
笨蛋不要掉眼泪3 小时前
Mysql架构揭秘:update语句的执行流程
数据库·mysql·架构
万邦科技Lafite3 小时前
京东item_get接口实战案例:实时商品价格监控全流程解析
java·开发语言·数据库·python·开放api·淘宝开放平台
秋94 小时前
ruoyi项目更换为mysql9.7.0数据库
数据库
Andya_net4 小时前
MySQL | MySQL 8.0 权限管理实践-精确赋予库、表只读等权限
android·数据库·mysql
筑梦之路5 小时前
harbor数据库报错权限异常如何处理——筑梦之路
数据库·harbor
czlczl200209256 小时前
理解 MySQL 行锁:两阶段锁协议与热点更新优化
数据库·mysql
AllData公司负责人6 小时前
通过Postgresql同步到Doris,全视角演示AllData数据中台核心功能效果,涵盖:数据入湖仓,数据同步,数据处理,数据服务,BI可视化驾驶舱
java·大数据·数据库·数据仓库·人工智能·python·postgresql