flinksql实时统计程序背压延迟优化

问题:

复制代码
flinkcdc+flinksql做实时读取sls日志和实时统计业务指标,今天发现程序背压了,业务延迟了6个小时。

解决办法:

复制代码
1、资源优化
作业并发大时:在作业的高级配置的资源配置中,增加JobManager的资源,提高CPU和内存的大小,例如:Job Manager cpu设置为4。Job Manager Memory设置为8 GiB。
作业拓扑较复杂时,在作业的高级配置的资源配置中,增加TaskManager的资源,提高CPU和内存的大小,例如:Task Manager CPUs设置为4。Task Manager Memory设置为8 GiB。
2、sql优化
开启MiniBatch(提升吞吐):
table.exec.mini-batch.enabled: true
table.exec.mini-batch.allow-latency: 5s
MiniBatch是缓存一定的数据后再触发处理,以减少对State的访问,从而提升吞吐并减少数据的输出量。MiniBatch主要基于事件消息来触发微批处理,事件消息会按您指定的时间间隔在源头插入。

复盘

下面是实时延迟时的截图:

下面是实时追上数据时的截图:

bingo:我开启了MiniBatch配置,以5秒微批的方式做实时处理,程序性能直接飞速提升,6小时的延迟十几分钟就追上了。性能杠杠的!

相关推荐
别这么骄傲9 小时前
【无标题】
flink
阿明 -李明1 天前
银行账户风险防控数字化的应用与实践
大数据·postgresql·flink·kafka
lucky_syq1 天前
Flink Checkpoint机制:大数据流处理的坚固护盾
大数据·flink
Apache Flink2 天前
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
人工智能·flink·apache
Flink_China3 天前
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
大数据·flink
哈哈很哈哈4 天前
深入解析 Apache Flink FLIP-511:优化 Kafka Sink 事务处理,减轻 Broker 负载
大数据·flink·kafka
哈哈很哈哈4 天前
Flink pushGateway监控
大数据·flink
java叶新东老师5 天前
docker in docker - 在docker容器中使用宿主机的docker
linux·运维·flink
LiRuiJie6 天前
基于Hadoop3.3.4+Flink1.17.0+FlinkCDC3.0.0+Iceberg1.5.0整合,实现数仓实时同步mysql数据
大数据·hadoop·flink·iceberg·flinkcdc
java叶新东老师7 天前
git stash 命令详解
linux·运维·flink