用户画像实时标签数据处理流程图

背景

在用户画像中,有一类实时标签,我们既要它能够实时的对外提供数据统计,也要保存到大数据组件中用于后续的对数,圈选的逻辑,本文就看一下用户画像的实时标签的数据流转图

实时标签数据流转图

首先我们肯定是要使用flink消费用户明细数据来生成实时标签,然后把实时标签写入到redis中,这样外部接口就可以通过redis的值获取到标签值,此外,我们也要把这些用户明细数据存储到大数据组件中,包括clickhouse 和 hive,由于保存到hive或者clickhouse中时批量数据操作才能提供比较好的插入性能,所以我们需要使用flink对数据进行分窗处理,把数据先分批,然后再插入到clickhouse和hive中,插入到hive中可以通过hive jdbc或者先上传到hdfs,然后使用load data的方式,以下是详细的流程示意图

相关推荐
小阮的学习笔记8 小时前
Vue3中使用LogicFlow实现简单流程图
javascript·vue.js·流程图
爱分享的淘金达人3 天前
2025年山东省考报名流程图解
java·考研·spring·eclipse·tomcat·流程图
烟雨国度6 天前
Spring MVC 完整生命周期和异常处理流程图
spring·mvc·流程图
冰淇淋噢!7 天前
一般公司流程图详情版
流程图
半块菠萝11 天前
html简易流程图
css·html·流程图
寰梦15 天前
上传Gitee仓库流程图
gitee·流程图
技术路上的苦行僧15 天前
Spring源码解析(35)之Spring全体系源码流程图
java·spring·流程图·1024程序员节
烟雨国度15 天前
阿里云用STS上传oss的完整程序执行流程图 和前端需要哪些参数uniapp
javascript·阿里云·uni-app·流程图·1024程序员节
懒大王952715 天前
vue使用 jsplumb 生成流程图
java·前端·流程图
emperinter17 天前
sankey.top - 桑基图/桑吉图/流程图/能量流/物料流/能量分析
macos·ios·音视频·流程图·能源·apple vision pro·web app