多站点用户数据同步实现

在做运维的时候遇到了这样一种场景,有多个站点,每个站点都有自己独立的数据库,但是每个站点之间又要共享用户数据。思来想去,决定使用中台,通过调用api接口来采集每个站点的数据;在中台中对数据处理之后,然后再同步到各个站点。大致流程如下:

中台调用Api接口采集各站点数据

1.每个站点都开放api数据采集接口供中台调用,以便进行数据的采集,代码实现略过。

2.中台对采集到的各个站点的数据都进行标识,加以区分。

中台中的数据处理

循环检查各站点数据,判断当前站点数据是否在其他的站点数据中存在,如果存在则不做处理;如果不存在,就将不存在的数据同步到其他站点数据中,并标识这部分同步的数据,以便和采集的数据加以区分。

中台同步数据到各站点

1.每个站点都开放api数据同步接口供中台调用,以便进行数据的同步,代码实现略过。

2.将中台每个站点数据中新同步的数据,通过调用当前站点的api接口,推送给给当前站点,并对推送过的数据进行标识,以避免重复推送。

点击阅读原文:菜园工程师

相关推荐
青云交3 天前
Java 大视界 -- 基于 Java 的大数据分布式数据库架构设计与实践(125)
java·大数据·分布式·分布式数据库·架构设计·数据处理·高可用性
青云交6 天前
Java 大视界 -- Java 大数据在智能家居能源管理与节能优化中的应用(120)
java·大数据·智能家居·数据处理·能源管理·节能优化·行为预测
青云交14 天前
大数据新视界 -- 大数据大厂之 Hive 函数库:丰富函数助力数据处理(上)(11/ 30)
大数据·数据库·sql·数据处理·自定义函数·函数分类·常用函数·hive 函数库
是十一月末1 个月前
机器学习之数据清洗及六种缺值处理方式
人工智能·python·机器学习·数据清洗·数据处理
中游鱼1 个月前
C# 数组和列表的基本知识及 LINQ 查询
c#·linq·数组·数据处理·list数列
青云交1 个月前
Java 大视界 -- Java 大数据在自动驾驶中的数据处理与决策支持(68)
大数据·机器学习·自动驾驶·数据采集·数据存储·数据处理·决策支持
测试者家园1 个月前
AI在自动化测试中的伦理挑战
自动化测试·软件测试·人工智能·数据处理·数据脱敏·质量效能·伦理
地球可视化实验室2 个月前
CIMRTS材质美化--放大采样、缩小采样
数据处理·纹理·cimrts
Johaden2 个月前
EXCEL+Python搞定数据处理(第一部分:Python入门-第1章:为什么要用Python为Excel编程)
python·excel·数据处理
シ風箏2 个月前
Flume【部署 01】CentOS Linux release 7.5 安装配置 apache-flume-1.9.0 并验证
大数据·linux·分布式·centos·etl·flume·数据处理