多站点用户数据同步实现

在做运维的时候遇到了这样一种场景,有多个站点,每个站点都有自己独立的数据库,但是每个站点之间又要共享用户数据。思来想去,决定使用中台,通过调用api接口来采集每个站点的数据;在中台中对数据处理之后,然后再同步到各个站点。大致流程如下:

中台调用Api接口采集各站点数据

1.每个站点都开放api数据采集接口供中台调用,以便进行数据的采集,代码实现略过。

2.中台对采集到的各个站点的数据都进行标识,加以区分。

中台中的数据处理

循环检查各站点数据,判断当前站点数据是否在其他的站点数据中存在,如果存在则不做处理;如果不存在,就将不存在的数据同步到其他站点数据中,并标识这部分同步的数据,以便和采集的数据加以区分。

中台同步数据到各站点

1.每个站点都开放api数据同步接口供中台调用,以便进行数据的同步,代码实现略过。

2.将中台每个站点数据中新同步的数据,通过调用当前站点的api接口,推送给给当前站点,并对推送过的数据进行标识,以避免重复推送。

点击阅读原文:菜园工程师

相关推荐
2601_967987377 天前
Python 教程:默认字典(defaultdict)全维度深度指南
python·性能优化·数据处理·collections·defaultdict
2601_967979129 天前
Python-Excel 模块对比
数据处理·科学计算·python-excel·模块对比·excel操作库
第九序言T16 天前
数据分析岗 Pandas 面试题 20 道(上):概念与读代码
python·数据分析·pandas·数据处理
小杨互联网17 天前
开源表格数据与文本处理 CLI 离线镜像合集
开源·数据处理·cli·离线镜像
桑年18 天前
四、Pandas数据处理
人工智能·python·线性代数·pandas·数据可视化·数据处理
第九序言T19 天前
Python 数据处理进阶(十八)批量处理同结构文件:一个文件夹一次跑完
开发语言·python·自动化·pandas·数据处理
chaser&upper21 天前
从 xParse 看企业 AI:业务知识如何进入工作流
人工智能·agent·数据处理·合合信息·textin xparse
ha_lydms1 个月前
Window Functions(窗口函数)
大数据·数据仓库·hadoop·spark·数据处理·dataworks·maxcompute
ha_lydms1 个月前
Xml Functions(XML 函数)
xml·大数据·hadoop·spark·数据处理·dataworks·maxcompute
ha_lydms1 个月前
Vector Functions(向量函数)
大数据·hadoop·spark·数据处理·dataworks·maxcompute·数据中台