数据库的实时同步和异步同步

一、背景

网络系统的数据集群由5台数据库组成,其中:有1台数据库负责写入,4台数据库负责读取。

二、主要难题

负责写入数据库的最新记录,需要用网络来更新到其他的4台读取数据库。

三、数据同步一致的时机

(一)立即同步

每次有数据更新,就立刻循环写入每个读取数据库。

缺点:可能会阻塞在网络写入和网络读取阶段。

可以开启4个线程,异步更新。

写入频繁,其他的读取数据库也会更新频繁;最终是所有的数据都要频繁的更新。

(二)队列缓冲同步

在2秒内同步,留一些缓冲时间,减少瞬间的任务量。

主要做法:

用一个队列来缓冲。

当写数据库有更新时,把SQL语句作为任务入队给队列。

用一个线程匀速的出队任务,同步给4个数据库。

四、数据库同步时,传递什么内容

注意:避免数据库写入二进制大文件和长文本,防止耗时太长,影响体验。

(一)传递原始的SQL语句

把SQL语句原样发给其他4个数据库执行。

(二)传递日志增量数据

对于MySQL数据库来说,有redo的bin二进制日志数据,可以传给其他负责查询的数据库。

(三)数据库文件备份

把最新的数据库修改部分,传给其他查询数据库,添加到旧文件的后面,或者覆盖内容,实现内容更新。

难点:找到内容更新的记录。

相关推荐
笃行35044 分钟前
SQLServer数据库迁移实录:十年老系统搬上 KingbaseES,T-SQL 基本没重写
数据库
落魄大学生之流水线上谋生计2 小时前
Java并发核心机制详解:线程池、CAS、AQS、锁升级
java·开发语言·数据库
Wang's Blog2 小时前
Java框架快速入门: Spring Security+OAuth2之邮件验证码发送(SMTP与API方式)
java·数据库·spring
砚底藏山河3 小时前
容错重试与指数退避:网络抖动手抖不再丢数据(魔码量化实战 #04)
java·数据库·python·金融
蓝速科技4 小时前
会议室门牌触控预约选型与落地实战指南丨蓝速科技
大数据·运维·数据库·人工智能·科技
蓝速科技4 小时前
企业展厅数字人导览效果提升与选型实战指南丨蓝速科技
大数据·运维·数据库·人工智能·科技·microsoft
奔跑吧树袋熊4 小时前
多租户隔离该做到哪一层:从连接池到 ORM 的取舍
开发语言·数据库·oracle·系统架构
罗光记4 小时前
全能 Go Agent 框架 Covonaut v1.1.2发布:终端对话加入旁问与三档输出
数据库·经验分享·其他·百度·新浪微博
Htr_5 小时前
Anysite.io 使用指南:把整个 Web 变成 AI 智能体的数据库
前端·数据库·人工智能
Lyra_Infra5 小时前
记一次麒麟 Linux 下达梦数据库 (DM8) 部署与 MySQL 命令行无界面迁移踩坑指南
数据库·后端·dba