用户画像实时标签数据处理流程图

背景

在用户画像中,有一类实时标签,我们既要它能够实时的对外提供数据统计,也要保存到大数据组件中用于后续的对数,圈选的逻辑,本文就看一下用户画像的实时标签的数据流转图

实时标签数据流转图

首先我们肯定是要使用flink消费用户明细数据来生成实时标签,然后把实时标签写入到redis中,这样外部接口就可以通过redis的值获取到标签值,此外,我们也要把这些用户明细数据存储到大数据组件中,包括clickhouse 和 hive,由于保存到hive或者clickhouse中时批量数据操作才能提供比较好的插入性能,所以我们需要使用flink对数据进行分窗处理,把数据先分批,然后再插入到clickhouse和hive中,插入到hive中可以通过hive jdbc或者先上传到hdfs,然后使用load data的方式,以下是详细的流程示意图

相关推荐
zincsweet3 天前
Linux 命名管道(FIFO)详解:原理分析、源码封装与通信流程图解
linux·服务器·c++·流程图
优思学苑5 天前
价值流程图:看到流程,而不只是步骤【精益管理CLMP】
流程图
bug总结6 天前
前端流程图vueflow
前端·流程图
米饭不加菜6 天前
Mermaid 流程图语法参考四
流程图
米饭不加菜9 天前
Mermaid 流程图语法参考三
流程图
米饭不加菜9 天前
Typora 原生流程图语法完全指南(Flowchart.js)
前端·javascript·流程图
米饭不加菜9 天前
Mermaid 流程图语法参考二
数据库·流程图
米饭不加菜10 天前
Mermaid 流程图语法参考一
流程图
Ysn071910 天前
利用豆包和draw.io快速绘制流程图
流程图·draw.io
Daorigin_com11 天前
从“被动领罚”到“主动合规”:强监管时代下,道本科技用数字化为企业筑牢“合规生命线”
大数据·数据仓库·科技·流程图·软件构建·数据库开发·数据库架构