flinksql实时统计程序背压延迟优化

问题:

复制代码
flinkcdc+flinksql做实时读取sls日志和实时统计业务指标,今天发现程序背压了,业务延迟了6个小时。

解决办法:

复制代码
1、资源优化
作业并发大时:在作业的高级配置的资源配置中,增加JobManager的资源,提高CPU和内存的大小,例如:Job Manager cpu设置为4。Job Manager Memory设置为8 GiB。
作业拓扑较复杂时,在作业的高级配置的资源配置中,增加TaskManager的资源,提高CPU和内存的大小,例如:Task Manager CPUs设置为4。Task Manager Memory设置为8 GiB。
2、sql优化
开启MiniBatch(提升吞吐):
table.exec.mini-batch.enabled: true
table.exec.mini-batch.allow-latency: 5s
MiniBatch是缓存一定的数据后再触发处理,以减少对State的访问,从而提升吞吐并减少数据的输出量。MiniBatch主要基于事件消息来触发微批处理,事件消息会按您指定的时间间隔在源头插入。

复盘

下面是实时延迟时的截图:

下面是实时追上数据时的截图:

bingo:我开启了MiniBatch配置,以5秒微批的方式做实时处理,程序性能直接飞速提升,6小时的延迟十几分钟就追上了。性能杠杠的!

相关推荐
starzy199017 小时前
Flink基础之Transformation API详解及代码实现:从map到connect
大数据·flink
onthe_wing18 小时前
flink窗口与水位线详解
大数据·flink
Thomas21432 天前
kafka 存储flink changelog两种方式和形态
分布式·flink·kafka
智码看视界2 天前
Edge AI 与 IoT 全栈系列:Edge AI 全栈 2:ESP32 + MQTT + Flink 实时 IoT 数据管道
物联网·flink·esp32·全栈开发·iot平台·实时流处理·edgeai
starzy19903 天前
Flink基础之Session-Cluster原理详解:共享集群的利与弊
大数据·flink
starzy19903 天前
Flink基础之Per-Job-Cluster原理详解:被 Application 取代的模式
java·大数据·flink
面向Google编程4 天前
Kafka 成了 Agent 的「共享内存」,Flink 成了它的「大脑」
flink·kafka·agent
用户3610588626124 天前
Flink基础之Flink批流数据读取处理案例剖析:从文件到 Kafka 的完整代码
大数据·flink
用户3610588626125 天前
Flink基础之有状态计算架构分析:状态存在哪、何时存、如何恢复
大数据·flink
用户3610588626126 天前
Flink基础之有界与无界流详解:批流一体的底层逻辑
大数据·flink