用户画像实时标签数据处理流程图

背景

在用户画像中,有一类实时标签,我们既要它能够实时的对外提供数据统计,也要保存到大数据组件中用于后续的对数,圈选的逻辑,本文就看一下用户画像的实时标签的数据流转图

实时标签数据流转图

首先我们肯定是要使用flink消费用户明细数据来生成实时标签,然后把实时标签写入到redis中,这样外部接口就可以通过redis的值获取到标签值,此外,我们也要把这些用户明细数据存储到大数据组件中,包括clickhouse 和 hive,由于保存到hive或者clickhouse中时批量数据操作才能提供比较好的插入性能,所以我们需要使用flink对数据进行分窗处理,把数据先分批,然后再插入到clickhouse和hive中,插入到hive中可以通过hive jdbc或者先上传到hdfs,然后使用load data的方式,以下是详细的流程示意图

相关推荐
xuehaisj12 小时前
手写流程图元素检测系统源码分享
流程图
cleveryuoyuo12 小时前
二叉树的链式结构和递归程序的递归流程图
c语言·数据结构·流程图
明月与玄武2 天前
UiBot教程:实现复杂流程图的高效方法
流程图·uibot教程
烟雨国度4 天前
Spring Boot 执行流程已经 负载均衡执行流程图
spring boot·负载均衡·流程图
秋沐5 天前
Vue3流程图插件-Vue Flow
前端·vue.js·流程图
朱小勇本勇6 天前
用Kimi输出流程图
流程图
烟雨国度6 天前
HTTP 请求处理的完整流程到Servlet流程图
http·servlet·流程图
努力奋斗的小涛涛6 天前
activiti第五步流程图定义会审并设置串行用户任务
java·流程图
乐吾乐科技6 天前
【乐吾乐大屏可视化组态编辑器】使用手册
信息可视化·编辑器·流程图·智慧城市·能源·数据可视化·大屏端
JackieZhengChina7 天前
B端产品经理的流程设计思维
大数据·流程图·产品经理·流程设计