用户画像实时标签数据处理流程图

背景

在用户画像中,有一类实时标签,我们既要它能够实时的对外提供数据统计,也要保存到大数据组件中用于后续的对数,圈选的逻辑,本文就看一下用户画像的实时标签的数据流转图

实时标签数据流转图

首先我们肯定是要使用flink消费用户明细数据来生成实时标签,然后把实时标签写入到redis中,这样外部接口就可以通过redis的值获取到标签值,此外,我们也要把这些用户明细数据存储到大数据组件中,包括clickhouse 和 hive,由于保存到hive或者clickhouse中时批量数据操作才能提供比较好的插入性能,所以我们需要使用flink对数据进行分窗处理,把数据先分批,然后再插入到clickhouse和hive中,插入到hive中可以通过hive jdbc或者先上传到hdfs,然后使用load data的方式,以下是详细的流程示意图

相关推荐
Ashley_Amanda19 小时前
UiPath005 流程图
流程图·rpa
✎ ﹏梦醒͜ღ҉繁华落℘7 天前
Visio 绘制流程图
流程图
秋911 天前
AI快速生成可编辑的流程图的方法
流程图
宁静致远202111 天前
Mermaid VSCode插件制作流程图保存方法
ide·vscode·流程图
min18112345613 天前
小型网站开发简易流程步骤 在线画图工具快速生成开发流程图方法
论文阅读·信息可视化·毕业设计·流程图·论文笔记
DYuW5gBmH14 天前
Kafka 成功消费消息的完整流程图
分布式·kafka·流程图
数说星榆18116 天前
无人员伤亡车辆事故处理流程图 快速结案流程
架构·电脑·流程图·职场发展·课程设计
dajun18112345616 天前
信息系统运维管理全流程详解 在线画图工具绘制运维流程图表技巧
运维·数据库·信息可视化·流程图·旅游·论文笔记
数说星榆18116 天前
罕见病例报告流程图学术论文用
论文阅读·人工智能·流程图
fish-man17 天前
测试流程图显示
流程图