用户画像实时标签数据处理流程图

背景

在用户画像中,有一类实时标签,我们既要它能够实时的对外提供数据统计,也要保存到大数据组件中用于后续的对数,圈选的逻辑,本文就看一下用户画像的实时标签的数据流转图

实时标签数据流转图

首先我们肯定是要使用flink消费用户明细数据来生成实时标签,然后把实时标签写入到redis中,这样外部接口就可以通过redis的值获取到标签值,此外,我们也要把这些用户明细数据存储到大数据组件中,包括clickhouse 和 hive,由于保存到hive或者clickhouse中时批量数据操作才能提供比较好的插入性能,所以我们需要使用flink对数据进行分窗处理,把数据先分批,然后再插入到clickhouse和hive中,插入到hive中可以通过hive jdbc或者先上传到hdfs,然后使用load data的方式,以下是详细的流程示意图

相关推荐
tedcloud1232 天前
Wand-Enhancer:如何搭建一套远程开发与测试环境
前端·人工智能·macos·开源·流程图
HineMusk4 天前
如何使用 Codex 为数学建模论文高效绘图:以 2023 国赛 C 题为例
数学建模·流程图·画图
刘天远7 天前
企业 Agent 需求怎么写:数据结构、流程图与 Python 校验
数据结构·人工智能·python·流程图
一只鹿鹿鹿9 天前
SCM流程图参考(PPT文件)
大数据·数据库·web安全·系统安全·流程图
学术 学术 Fun14 天前
PDF 转 draw.io:把 PDF 图表恢复成可编辑图形
pdf·流程图·drawio
闻哥15 天前
小表驱动大表——SQL查询优化的核心原则(深度剖析+流程图)
数据库·sql·流程图
学术 学术 Fun17 天前
无需 Microsoft Visio,如何在线打开和编辑 VSDX 文件
流程图·visio
tedcloud12318 天前
diagram-design 怎么安装?用 AI 自动生成更专业的架构图、流程图
linux·运维·前端·人工智能·开源·流程图
醉颜凉20 天前
Elasticsearch 核心基石:倒排索引全解析(原理+结构+流程图+实战)
elasticsearch·jenkins·流程图
Ai-_Man21 天前
希望大家能推荐一款软件,可以直接把文心生成的代码变流程图,提高办公效率
人工智能·ai·小程序·流程图