技术栈
实时数据开发
锵锵锵锵~蒋
19 天前
jvm
·
数据库
·
flink
·
实时数据开发
实时数据开发|Flink异步IO--提升性能和吞吐量
在使用Flink处理流式数据的过程中，会经常和外部系统进行数据交互。通常情况下在 Flink 中可以创建外部数据库系统的Client连接，然后通过Client连接将数据元素写入外部存储系统中或者从外部存储系统中读取数据。考虑到连接外部系统的网络等因素，这种同步查询和操作数据库的方式往往会影响整个函数的处理效率，用户如果想提升应用的处理效率，就必须考虑增加算子的并行度，这将导致大量的资源开销。
锵锵锵锵~蒋
1 个月前
flink
·
数据开发
·
实时数据开发
实时数据开发|简单理解Flink流计算中解决乱序的机制--水位线
今天继续学习Flink的关键机制–水位线，虽然看文字有种浮于表面、难以理解的感觉，但是我觉得等开发中使用到的时候就会融会贯通了。
锵锵锵锵~蒋
1 个月前
大数据
·
数据仓库
·
flink
·
实时数据开发
实时数据开发 | 怎么通俗理解Flink容错机制，提到的checkpoint、barrier、Savepoint、sink都是什么
今天学Flink的关键技术–容错机制，用一些通俗的比喻来讲这个复杂的过程。参考自《离线和实时大数据开发实战》