flinksql实时统计程序背压延迟优化

问题:

flinkcdc+flinksql做实时读取sls日志和实时统计业务指标,今天发现程序背压了,业务延迟了6个小时。

解决办法:

1、资源优化
作业并发大时:在作业的高级配置的资源配置中,增加JobManager的资源,提高CPU和内存的大小,例如:Job Manager cpu设置为4。Job Manager Memory设置为8 GiB。
作业拓扑较复杂时,在作业的高级配置的资源配置中,增加TaskManager的资源,提高CPU和内存的大小,例如:Task Manager CPUs设置为4。Task Manager Memory设置为8 GiB。
2、sql优化
开启MiniBatch(提升吞吐):
table.exec.mini-batch.enabled: true
table.exec.mini-batch.allow-latency: 5s
MiniBatch是缓存一定的数据后再触发处理,以减少对State的访问,从而提升吞吐并减少数据的输出量。MiniBatch主要基于事件消息来触发微批处理,事件消息会按您指定的时间间隔在源头插入。

复盘

下面是实时延迟时的截图:

下面是实时追上数据时的截图:

bingo:我开启了MiniBatch配置,以5秒微批的方式做实时处理,程序性能直接飞速提升,6小时的延迟十几分钟就追上了。性能杠杠的!

相关推荐
roman_日积跬步-终至千里2 小时前
【Flink 实战】Flink 中 Akka 通信与内存占用分析
大数据·flink
抛砖者2 小时前
8. Flink-CDC
flink·flink-cdc
码上淘金4 小时前
Apache Flink架构深度解析:任务调度、算子数据同步与TaskSlot资源管理机制
大数据·架构·flink
roman_日积跬步-终至千里7 小时前
【Flink实战】Flink网络内存和托管内存
服务器·网络·flink
Ray.19987 小时前
优化 Flink 消费 Kafka 数据的速度:实战指南
大数据·flink·kafka
D愿你归来仍是少年7 小时前
Python解析 Flink Job 依赖的checkpoint 路径
大数据·python·flink
viperrrrrrrrrr720 小时前
大数据学习(49) - Flink按键分区状态(Keyed State)
大数据·学习·flink
不是谁只是我2 天前
学习kafka和flink
学习·flink·kafka
Apache Flink2 天前
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
大数据·flink
undo_try3 天前
大数据组件(四)快速入门实时数据湖存储系统Apache Paimon(1)
大数据·flink·apache