目录

用户画像实时标签数据处理流程图

背景

在用户画像中,有一类实时标签,我们既要它能够实时的对外提供数据统计,也要保存到大数据组件中用于后续的对数,圈选的逻辑,本文就看一下用户画像的实时标签的数据流转图

实时标签数据流转图

首先我们肯定是要使用flink消费用户明细数据来生成实时标签,然后把实时标签写入到redis中,这样外部接口就可以通过redis的值获取到标签值,此外,我们也要把这些用户明细数据存储到大数据组件中,包括clickhouse 和 hive,由于保存到hive或者clickhouse中时批量数据操作才能提供比较好的插入性能,所以我们需要使用flink对数据进行分窗处理,把数据先分批,然后再插入到clickhouse和hive中,插入到hive中可以通过hive jdbc或者先上传到hdfs,然后使用load data的方式,以下是详细的流程示意图

本文是转载文章,点击查看原文
如有侵权,请联系 xyy@jishuzhan.net 删除
相关推荐
young log2 天前
如何用deepseek生成流程图
流程图
空中湖4 天前
手绘风格流程图工具:简单高效的在线流程图绘制工具
流程图
全星0074 天前
失效模式分析(FMEA)、控制计划(CP)、流程图(Flowchart)的无缝衔接与高效管理--全星FMEA软件系统
流程图
朴拙数科6 天前
plaintext 流程图和Markdown 的 Mermaid格式流程图的区别要点
编辑器·vim·流程图
月巴月巴白勺合鸟月半7 天前
一个流程图的后续
流程图·健康医疗
青花瓷8 天前
VSCode中使用Markdown以及Mermaid实现流程图和甘特图等效果
vscode·流程图·甘特图
fish-man8 天前
测试流程图显示问题
java·服务器·流程图
BerryBC8 天前
ChatBI的流程图
java·前端·流程图
Jiaberrr9 天前
Vue3 实战:基于 mxGraph 与 WebSocket 的动态流程图构建
前端·javascript·vue.js·websocket·流程图
独好紫罗兰10 天前
洛谷题单1-B2002 Hello,World!-python-流程图重构
python·算法·流程图