多站点用户数据同步实现

在做运维的时候遇到了这样一种场景,有多个站点,每个站点都有自己独立的数据库,但是每个站点之间又要共享用户数据。思来想去,决定使用中台,通过调用api接口来采集每个站点的数据;在中台中对数据处理之后,然后再同步到各个站点。大致流程如下:

中台调用Api接口采集各站点数据

1.每个站点都开放api数据采集接口供中台调用,以便进行数据的采集,代码实现略过。

2.中台对采集到的各个站点的数据都进行标识,加以区分。

中台中的数据处理

循环检查各站点数据,判断当前站点数据是否在其他的站点数据中存在,如果存在则不做处理;如果不存在,就将不存在的数据同步到其他站点数据中,并标识这部分同步的数据,以便和采集的数据加以区分。

中台同步数据到各站点

1.每个站点都开放api数据同步接口供中台调用,以便进行数据的同步,代码实现略过。

2.将中台每个站点数据中新同步的数据,通过调用当前站点的api接口,推送给给当前站点,并对推送过的数据进行标识,以避免重复推送。

点击阅读原文:菜园工程师

相关推荐
sunxinyu7 天前
曲面/线 拟合gnuplot
大数据·线性回归·数据处理·数据拟合·二维三维空间数据
爱编码的程序员20 天前
python 处理json、excel、然后将内容转化为DSL语句,适用于数据处理(实用版)
人工智能·python·ai·json·excel·数据处理·dsl
Monkey的自我迭代23 天前
逻辑回归参数调优实战指南
python·机器学习·逻辑回归·数据处理·下采样·过采样
小关会打代码1 个月前
Python编程进阶知识之第四课处理数据(pandas)
python·机器学习·pandas·数据处理
麻辣长颈鹿Sir1 个月前
【C++】使用箱线图算法剔除数据样本中的异常值
算法·信息可视化·数据分析·c/c++·数据处理
青春不败 177-3266-05201 个月前
基于Surfer与Voxler数据处理及可视化技术应用
信息可视化·气象学·数据处理·环境科学·地质工程·surfer·voxler
亿牛云爬虫专家1 个月前
Kafka与Flink打造流式数据采集方案:以二手房信息为例
flink·kafka·数据采集·爬虫代理·数据处理·二手房·定时抓取
胖达不服输2 个月前
「日拱一码」020 机器学习——数据处理
人工智能·python·机器学习·数据处理
zhongqu_3dnest2 个月前
打破物理边界:VR 看房技术的创新与飞跃
vr·数据处理·vr看房·全景相机·技术革新·场景优化·交互技术