flink中如何把DB大表的配置数据加载到内存中对数据流进行增强处理

背景

在处理flink的数据流时,比如处理商品流时,一般我们从kafka中只拿到了商品id,此时我们需要把商品的其他配置信息比如品牌品类等也拿到,此时就需要关联上外部配置表来达到丰富数据流的目的,如果外部配置表很大,我们如何才能做到加载到内存中并完成丰富数据流的目的呢?

丰富数据流

有两种方式可以实现丰富数据流的效果,一种是把外部配置表所有数据加载到每个TaskManager的内存中,另一种是每个TaskManager只需要加载一部分外部配置表的数据,如下所示:

总结:

当外部配置表的数据量很大时,我们可以采用每个TaskManager加载一部分数据的方式来达到数据增强的效果,至于每个TaskManager加载多少,取决于算子并行度,并行度越高,每个TaskManager就可以加载越少的数据

相关推荐
前进的李工4 小时前
SQL聚合函数与分组查询详解
数据库·sql·mysql
程途拾光1584 小时前
企业部门协作泳道图制作工具 PC端
大数据·运维·流程图
落叶,听雪4 小时前
河南建站系统哪个好
大数据·人工智能·python
大数据追光猿5 小时前
【大数据Doris】生产环境,Doris主键模型全表7000万数据更新写入为什么那么慢?
大数据·经验分享·笔记·性能优化·doris
2301_800050995 小时前
mysql
数据库·笔记·mysql
武子康6 小时前
大数据-197 K折交叉验证实战:sklearn 看均值/方差,选更稳的 KNN 超参
大数据·后端·机器学习
数据皮皮侠6 小时前
2m气温数据集(1940-2024)
大数据·数据库·人工智能·制造·微信开放平台
Psycho_MrZhang6 小时前
Redis 设计思想总结
数据库·redis·缓存
曹牧7 小时前
Java:Assert.isTrue()
java·前端·数据库
Coder_Boy_7 小时前
基于SpringAI的智能运维平台(AI驱动)
大数据·运维·人工智能