用户画像实时标签数据处理流程图

背景

在用户画像中,有一类实时标签,我们既要它能够实时的对外提供数据统计,也要保存到大数据组件中用于后续的对数,圈选的逻辑,本文就看一下用户画像的实时标签的数据流转图

实时标签数据流转图

首先我们肯定是要使用flink消费用户明细数据来生成实时标签,然后把实时标签写入到redis中,这样外部接口就可以通过redis的值获取到标签值,此外,我们也要把这些用户明细数据存储到大数据组件中,包括clickhouse 和 hive,由于保存到hive或者clickhouse中时批量数据操作才能提供比较好的插入性能,所以我们需要使用flink对数据进行分窗处理,把数据先分批,然后再插入到clickhouse和hive中,插入到hive中可以通过hive jdbc或者先上传到hdfs,然后使用load data的方式,以下是详细的流程示意图

相关推荐
岳哥i2 天前
Vue BPMN Modeler流程图
流程图
dj Yang2 天前
RTK部分模糊度固定测量流程图
流程图
huaqianzkh2 天前
数据流图和流程图的区别
架构·流程图
ProcessOn官方账号4 天前
如何绘制网络拓扑图?附详细分类解说和用户案例!
网络·职场和发展·流程图·拓扑学
CoderCodingNo7 天前
【GESP】C++二级考试大纲知识点梳理, (4)流程图
开发语言·c++·流程图
猫咪-95277 天前
水仙花数(流程图,NS流程图)
流程图
万维——组态9 天前
web组态可视化编辑器
前端·物联网·低代码·编辑器·流程图·组态
BY-组态9 天前
web组态可视化编辑器
前端·物联网·开源·编辑器·流程图·web组态
正在走向自律9 天前
解锁 draw.io 流程图制作工具Docker私有化部署(2/2)
流程图·draw.io
看山还是山,看水还是。14 天前
软件工程 设计的复杂性
笔记·流程图·软件工程·团队开发·代码规范·内容运营·代码覆盖率