云事业群CTO线技术晋升考核机试题-分布式专题-D 分布式数据同步

2023****年(Q3财年)技术部门CTO线技术人员晋升考核机试题

分布式篇-D 分布式数据同步

* 参考答案*

出题人:湖北 TL 田超凡
答案制定:湖北 TL 田超凡

***** 试卷启用前绝密 ****

1 缓存一致性产生背景

答:当需要频繁访问数据库的时候,虽然数据库底层基于B+索引检索数据,但是仍然会十分消耗磁盘IO资源,导致数据库访问压力增加。

此时可以基于缓存设计来减轻数据库访问压力。

2 多级缓存架构设计方案

答:多级缓存架构设计采用的设计模式是装饰者模式。

  1. 首先是JVM内置缓存,如ehcache、oscache。数据同步可以基于RMI机制(JVM和JVM之间的通讯)实现,效率比较低。
  2. 其次是外置缓存,如redis、memcached等,先查内置缓存,内置缓存没有再查外置缓存,外置缓存没有再查数据库,然后同步数据到外置和内置缓存中。

3 Mysql与Redis缓存一致性原理

答:

  1. 基本查询流程:

首先从redis缓存中查询数据,如果能查到就直接返回客户端,如果不能查到就再到数据库中查询,把查询到的数据同步到redis缓存中,再返回查询结果给客户端。

  1. 基本数据同步实现原理:

大多数场景Redis都是作为只读缓存,当mysql做增量写操作时,会同步到Redis,此时分以下几种情况讨论:

  1. Insert db,insert redis 增量同步
  2. Update db ,清除redis缓存,懒加载
  3. Update db ,更新redis缓存,增量同步
  4. Delete db, 清除redis缓存,增量同步

4 如果数据库数据发生变化,如何同步给Redis

答:

  1. 删除redis缓存,增量同步
  2. 基于MQ异步同步
  3. 基于canal异步同步
  4. 基于canal+MQ异步同步

5 canal数据同步实现原理

答:canal主要用途是对mysql增量日志(binlog)解析,提供增量数据订阅和消费。

canal 数据同步实现原理:

  1. Canal 服务器端伪装成mysql从节点,订阅mysql主节点binlog日志
  2. 当mysql主节点binlog日志发生变化的时候,会通知给canal服务器端
  3. Canal 服务器端接收到binlog增量数据日志,解析并转换成json格式输出到canal客户端
  4. Canal 客户端接收到canal服务器端传递的增量数据日志后,异步写入到redis实现数据同步

优化建议:可以基于canal+kafka实现高效的异步数据同步,canal客户端接收到canal服务器端发送的增量数据日志后,异步将增量数据消息投递到kafka服务器端,再由kafka服务器端下游消费者订阅kafka主题,异步获取增量数据并同步到redis,大大提高大数据量数据同步场景下的数据同步效率。

相关推荐
Littlewith12 小时前
Java进阶3:Java集合框架、ArrayList、LinkedList、HashSet、HashMap和他们的迭代器
java·开发语言·spring boot·spring·java-ee·eclipse·tomcat
hqxstudying1 天前
J2EE模式---组合实体模式
java·数据库·spring·oracle·java-ee·mvc
hqxstudying1 天前
J2EE模式---服务定位器模式
java·开发语言·后端·python·spring·java-ee
hqxstudying2 天前
J2EE模式---拦截过滤器模式
java·python·设计模式·java-ee·mvc·拦截器模式
hqxstudying2 天前
J2EE模式---前端控制器模式
java·前端·设计模式·java-ee·状态模式·代码规范·前端控制器模式
optimistic_chen4 天前
【Java EE初阶 --- 网络原理】应用层---HTTP(HTTPS)协议
java·网络·http·https·java-ee
界面开发小八哥5 天前
「Java EE开发指南」如何用MyEclipse创建企业应用项目?(一)
java·ide·java-ee·eclipse·myeclipse
洛_尘9 天前
Java EE进阶2:前端 HTML+CSS+JavaScript
java·前端·java-ee
Brookty9 天前
Java线程创建与运行全解析
java·开发语言·后端·学习·java-ee·线程
我命由我123459 天前
Spring Boot - Spring Boot 集成 MyBatis 分页实现 手写 SQL 分页
java·spring boot·后端·sql·spring·java-ee·mybatis