多站点用户数据同步实现

在做运维的时候遇到了这样一种场景,有多个站点,每个站点都有自己独立的数据库,但是每个站点之间又要共享用户数据。思来想去,决定使用中台,通过调用api接口来采集每个站点的数据;在中台中对数据处理之后,然后再同步到各个站点。大致流程如下:

中台调用Api接口采集各站点数据

1.每个站点都开放api数据采集接口供中台调用,以便进行数据的采集,代码实现略过。

2.中台对采集到的各个站点的数据都进行标识,加以区分。

中台中的数据处理

循环检查各站点数据,判断当前站点数据是否在其他的站点数据中存在,如果存在则不做处理;如果不存在,就将不存在的数据同步到其他站点数据中,并标识这部分同步的数据,以便和采集的数据加以区分。

中台同步数据到各站点

1.每个站点都开放api数据同步接口供中台调用,以便进行数据的同步,代码实现略过。

2.将中台每个站点数据中新同步的数据,通过调用当前站点的api接口,推送给给当前站点,并对推送过的数据进行标识,以避免重复推送。

点击阅读原文:菜园工程师

相关推荐
zhongqu_3dnest17 天前
打破物理边界:VR 看房技术的创新与飞跃
vr·数据处理·vr看房·全景相机·技术革新·场景优化·交互技术
RestCloud17 天前
ETL常见的数据转换方式
数据仓库·mysql·etl·数据处理·数据集成工具·集成平台
RestCloud19 天前
ETLCloud中数据脱敏规则的使用技巧
数据仓库·etl·数据处理·数据脱敏·数据集成工具
RestCloud19 天前
ETLCloud中数据生成规则使用技巧
大数据·服务器·数据库·etl·数字化转型·数据处理·集成平台
CodeCraft Studio25 天前
国产化Excel处理组件Spire.XLS教程:用 Java 获取所有 Excel 工作表名称(图文详解)
java·excel·数据处理·spire
RestCloud1 个月前
如何通过ETLCloud实现跨系统数据同步?
数据库·数据仓库·mysql·etl·数据处理·数据同步·集成平台
lczdyx1 个月前
一键净化Excel数据:高性能Python脚本实现多核并行清理
python·excel·pandas·数据清洗·数据处理·自动化办公·openpyxl
lczdyx1 个月前
高效Excel数据净化工具:一键清除不可见字符与格式残留
python·excel·pandas·数据清洗·数据处理
lczdyx1 个月前
Excel数据脱敏利器:自动保留格式的智能脱敏脚本
excel·pandas·数据处理·脱敏
c_weith1 个月前
使用新一代达梦管理工具SQLark,高效处理 JSON/XML 数据!
数据处理·json数据·xml数据·达梦管理工具