flinksql实时统计程序背压延迟优化

问题:

复制代码
flinkcdc+flinksql做实时读取sls日志和实时统计业务指标,今天发现程序背压了,业务延迟了6个小时。

解决办法:

复制代码
1、资源优化
作业并发大时:在作业的高级配置的资源配置中,增加JobManager的资源,提高CPU和内存的大小,例如:Job Manager cpu设置为4。Job Manager Memory设置为8 GiB。
作业拓扑较复杂时,在作业的高级配置的资源配置中,增加TaskManager的资源,提高CPU和内存的大小,例如:Task Manager CPUs设置为4。Task Manager Memory设置为8 GiB。
2、sql优化
开启MiniBatch(提升吞吐):
table.exec.mini-batch.enabled: true
table.exec.mini-batch.allow-latency: 5s
MiniBatch是缓存一定的数据后再触发处理,以减少对State的访问,从而提升吞吐并减少数据的输出量。MiniBatch主要基于事件消息来触发微批处理,事件消息会按您指定的时间间隔在源头插入。

复盘

下面是实时延迟时的截图:

下面是实时追上数据时的截图:

bingo:我开启了MiniBatch配置,以5秒微批的方式做实时处理,程序性能直接飞速提升,6小时的延迟十几分钟就追上了。性能杠杠的!

相关推荐
Apache StreamPark11 小时前
Flink生产环境实战:从Demo到稳定运行的破局之道
ai·flink
大帅点兵19 小时前
设计一个金融交易监控系统
大数据·clickhouse·flink·spark·kafka·hbase
阿坤带你走近大数据21 小时前
Flink基本原理与调优经验的总体介绍
大数据·flink
晨犀1 天前
Flink批处理Operator-Transformation方法作用总结
大数据·flink
大大大大晴天️1 天前
告别OOM焦虑:Flink 内存模型原理与诊断调优
大数据·flink
大大大大晴天2 天前
拒绝状态爆炸!一文看透 Flink CEP 复杂事件处理机制
flink
livemetee2 天前
Flink数据倾斜根因与解法
flink
南屹川3 天前
【大数据】大数据处理技术栈:从采集到分析的完整链路
大数据·人工智能·hadoop·flink·spark·数据处理
Volunteer Technology3 天前
Flink任务提交与架构模型(二)
前端·javascript·flink
斯普润布特4 天前
StreamX(StreamPark 2.1.7) 更改人大金仓KES数据存储-Docker 版
docker·flink·iot