flinksql实时统计程序背压延迟优化

问题:

复制代码
flinkcdc+flinksql做实时读取sls日志和实时统计业务指标,今天发现程序背压了,业务延迟了6个小时。

解决办法:

复制代码
1、资源优化
作业并发大时:在作业的高级配置的资源配置中,增加JobManager的资源,提高CPU和内存的大小,例如:Job Manager cpu设置为4。Job Manager Memory设置为8 GiB。
作业拓扑较复杂时,在作业的高级配置的资源配置中,增加TaskManager的资源,提高CPU和内存的大小,例如:Task Manager CPUs设置为4。Task Manager Memory设置为8 GiB。
2、sql优化
开启MiniBatch(提升吞吐):
table.exec.mini-batch.enabled: true
table.exec.mini-batch.allow-latency: 5s
MiniBatch是缓存一定的数据后再触发处理,以减少对State的访问,从而提升吞吐并减少数据的输出量。MiniBatch主要基于事件消息来触发微批处理,事件消息会按您指定的时间间隔在源头插入。

复盘

下面是实时延迟时的截图:

下面是实时追上数据时的截图:

bingo:我开启了MiniBatch配置,以5秒微批的方式做实时处理,程序性能直接飞速提升,6小时的延迟十几分钟就追上了。性能杠杠的!

相关推荐
IT果果日记4 分钟前
没有Kafka怎么办?Flink SQL 创建 mysql-cdc 作业
大数据·后端·flink
Flink_China1 天前
Apache Flink错误处理实战手册:2年生产环境调试经验总结
大数据·flink
君不见,青丝成雪2 天前
Flink的CheckPoint与SavePoint
大数据·flink
mask哥2 天前
详解flink SQL基础(四)
java·大数据·数据库·sql·微服务·flink
BD_Marathon3 天前
【Flink】部署模式
java·数据库·flink
jiedaodezhuti3 天前
Flink直接缓冲存储器异常解析与解决方案
大数据·flink
Flink_China3 天前
Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台
大数据·flink
好奇的菜鸟3 天前
使用 Apache Flink CDC 3.0 实现 MySQL 到 Elasticsearch 的数据同步
mysql·flink·apache
ShawnLeiLei4 天前
2.3 Flink的核心概念解析
数据库·python·flink
livemetee4 天前
Flink2.0学习笔记:使用HikariCP 自定义sink实现数据库连接池化
大数据·数据库·笔记·学习·flink