flinksql实时统计程序背压延迟优化

问题:

flinkcdc+flinksql做实时读取sls日志和实时统计业务指标,今天发现程序背压了,业务延迟了6个小时。

解决办法:

1、资源优化
作业并发大时:在作业的高级配置的资源配置中,增加JobManager的资源,提高CPU和内存的大小,例如:Job Manager cpu设置为4。Job Manager Memory设置为8 GiB。
作业拓扑较复杂时,在作业的高级配置的资源配置中,增加TaskManager的资源,提高CPU和内存的大小,例如:Task Manager CPUs设置为4。Task Manager Memory设置为8 GiB。
2、sql优化
开启MiniBatch(提升吞吐):
table.exec.mini-batch.enabled: true
table.exec.mini-batch.allow-latency: 5s
MiniBatch是缓存一定的数据后再触发处理,以减少对State的访问,从而提升吞吐并减少数据的输出量。MiniBatch主要基于事件消息来触发微批处理,事件消息会按您指定的时间间隔在源头插入。

复盘

下面是实时延迟时的截图:

下面是实时追上数据时的截图:

bingo:我开启了MiniBatch配置,以5秒微批的方式做实时处理,程序性能直接飞速提升,6小时的延迟十几分钟就追上了。性能杠杠的!

相关推荐
PersistJiao1 小时前
实时数仓: Hudi 表管理、Flink 性能调优或治理工具脚本
大数据·flink
电信中心14 小时前
Flink维表方案选型
大数据·flink
PersistJiao15 小时前
实时数仓:Flink 任务实现、Hudi 表设计细节或治理工具的具体配置
大数据·flink
子非鱼@Itfuture17 小时前
【Python】Flink和Flask区别总结
python·flink·flask
JermeryBesian1 天前
Flink概念知识讲解之:Restart重启策略配置
java·flink·apache
司晓杰2 天前
Flink 实时数据处理中的问题与解决方案
大数据·flink
lisacumt2 天前
【Flink CDC】Flink CDC的Schema Evolution表结构演变的源码分析和流程图
大数据·flink·流程图
司晓杰2 天前
使用 Flink CDC 构建 Streaming ETL
大数据·数据仓库·flink·etl
申尧强2 天前
flink异步流(async stream)解析
大数据·flink
core5122 天前
flink cdc oceanbase(binlog模式)
大数据·flink·binlog·oceanbase·安装·cdc