flink使用事件时间时警惕kafka不同分区的事件时间倾斜问题

背景

flink和kafka的消息组合消费模式几乎是实时流处理的标配,然后当在flink中使用事件时间处理时,需要注意kafka不同分区元素之间时间相差太大的问题,这样有可能会导致严重的数据堆积问题

kafka不同分区元素事件时间差异较大导致的问题

总结

我们在kafka的不同分区之间的事件的时间不能太过于极端,因为这样的话,下游的水印是由消费的分区中最小的那个事件时间元素来决定的,但是flink仍然会消费其它分区的元素,只是由于水印不满足,这些元素再向下游管道流动时会被临时缓冲起来,当这种情况很极端时,有可能把flink的作业搞崩溃

相关推荐
烟台业荣数据科技有限公司13 分钟前
智能建造知识拓展 | AR技术:虚实融合,赋能施工现场
大数据·人工智能·机器人
treesforest15 分钟前
IP地理位置精准查询:从城市级到街道级的定位技术深度解析
大数据·网络·网络协议·tcp/ip·安全·网络安全·ip
敖正炀25 分钟前
生产者原理:分区策略、幂等与事务
kafka
小小王app小程序开发1 小时前
场馆预约小程序开发分析:线下实体转型利器,冠品科技助力商家高效增收
大数据·科技
lyc87801 小时前
【Qwen3.5-2B-Base】本地模型部署和验证联动千帆api
大数据·python
2601_958548481 小时前
利川乡村民宿专业经营:盈利模式与运营策略深度解析
大数据
cy_cy0022 小时前
解析活跃氛围的互动屏幕应用
大数据·科技·人机交互·交互·软件构建
湘美书院--湘美谈教育2 小时前
湘美书院谈AI教育经验集:如何用AI整理湖湘文化经义大略
大数据·人工智能·深度学习·神经网络·机器学习
Bechamz2 小时前
大数据开发学习Day29
大数据·学习
ZStack开发者社区3 小时前
青海交科携手云轴科技ZStack为青海交控集团打造智慧物流大数据平台
大数据·服务器·科技·云计算·gpu算力