flinksql实时统计程序背压延迟优化

问题:

flinkcdc+flinksql做实时读取sls日志和实时统计业务指标,今天发现程序背压了,业务延迟了6个小时。

解决办法:

1、资源优化
作业并发大时:在作业的高级配置的资源配置中,增加JobManager的资源,提高CPU和内存的大小,例如:Job Manager cpu设置为4。Job Manager Memory设置为8 GiB。
作业拓扑较复杂时,在作业的高级配置的资源配置中,增加TaskManager的资源,提高CPU和内存的大小,例如:Task Manager CPUs设置为4。Task Manager Memory设置为8 GiB。
2、sql优化
开启MiniBatch(提升吞吐):
table.exec.mini-batch.enabled: true
table.exec.mini-batch.allow-latency: 5s
MiniBatch是缓存一定的数据后再触发处理,以减少对State的访问,从而提升吞吐并减少数据的输出量。MiniBatch主要基于事件消息来触发微批处理,事件消息会按您指定的时间间隔在源头插入。

复盘

下面是实时延迟时的截图:

下面是实时追上数据时的截图:

bingo:我开启了MiniBatch配置,以5秒微批的方式做实时处理,程序性能直接飞速提升,6小时的延迟十几分钟就追上了。性能杠杠的!

相关推荐
小的~~12 分钟前
k8s使用本地docker私服启动自制的flink集群
docker·flink·kubernetes
码爸2 小时前
flink 例子(scala)
大数据·elasticsearch·flink·scala
FLGB2 小时前
Flink 与 Kubernetes (K8s)、YARN 和 Mesos集成对比
大数据·flink·kubernetes
码爸2 小时前
flink 批量压缩redis集群 sink
大数据·redis·flink
core5122 小时前
Flink官方文档
大数据·flink·文档·官方
周全全2 小时前
Flink1.18.1 Standalone模式集群搭建
大数据·flink·集群·主从·standalone
JermeryBesian1 天前
Flink系列知识之:Checkpoint原理
大数据·flink
全栈弟弟1 天前
高级大数据开发协会
大数据·数据仓库·hadoop·flink·spark
武子康1 天前
大数据-134 - ClickHouse 集群三节点 安装配置启动
java·大数据·分布式·clickhouse·架构·flink
wumingxiaoyao3 天前
Big Data 流处理框架 Flink
大数据·flink·big data·流处理框架·实时数据处理