多站点用户数据同步实现

在做运维的时候遇到了这样一种场景,有多个站点,每个站点都有自己独立的数据库,但是每个站点之间又要共享用户数据。思来想去,决定使用中台,通过调用api接口来采集每个站点的数据;在中台中对数据处理之后,然后再同步到各个站点。大致流程如下:

中台调用Api接口采集各站点数据

1.每个站点都开放api数据采集接口供中台调用,以便进行数据的采集,代码实现略过。

2.中台对采集到的各个站点的数据都进行标识,加以区分。

中台中的数据处理

循环检查各站点数据,判断当前站点数据是否在其他的站点数据中存在,如果存在则不做处理;如果不存在,就将不存在的数据同步到其他站点数据中,并标识这部分同步的数据,以便和采集的数据加以区分。

中台同步数据到各站点

1.每个站点都开放api数据同步接口供中台调用,以便进行数据的同步,代码实现略过。

2.将中台每个站点数据中新同步的数据,通过调用当前站点的api接口,推送给给当前站点,并对推送过的数据进行标识,以避免重复推送。

点击阅读原文:菜园工程师

相关推荐
杰瑞不懂代码12 天前
使用pandas操作EXCEL表格入门教程
python·excel·pandas·办公自动化·数据处理
科研面壁者13 天前
Origin科研绘图——3D 百分比堆积墙型图
3d·可视化·origin·数据处理·科研绘图
ha_lydms16 天前
5、Spark函数_s/t
java·大数据·python·spark·数据处理·maxcompute·spark 函数
isNotNullX17 天前
数据处理的流程是什么?如何进行数据预处理?
数据库·数据资产管理·数据处理·企业数字化
ha_lydms19 天前
3、Spark 函数_d/e/f/j/h/i/j/k/l
大数据·分布式·spark·函数·数据处理·dataworks·maxcompute
ha_lydms19 天前
4、Spark 函数_m/n/o/p/q/r
大数据·数据库·python·sql·spark·数据处理·dataworks
ha_lydms19 天前
6、Spark 函数_u/v/w/x/y/z
java·大数据·python·spark·数据处理·dataworks·spark 函数
娃乐呵23 天前
免费的大批量Excel文档大模型处理数据工具
语言模型·大模型·excel·数据处理
康谋自动驾驶24 天前
aiData全自动化数据处理解决方案!
自动驾驶·数据处理·传感器·数据标注·数据闭环·端对端
RestCloud1 个月前
异步 vs 同步:ETL在任务调度中的架构选择
etl·数据处理·数据集成·etlcloud·数据同步·任务调度·异步数据处理