Flink 流批一体之批处理进行数据同步

一、背景

作为流批一体的计算框架,Flink不仅能够提供低延迟的流式数据处理,也能进行高吞吐的批处理。使用或者微调同一套代码即可实现,本章将通过具体案例给大家讲解。

二、案例

本案例使用的是阿里云 Flink 实时计算平台

准备工作:

  • 源表 :dwd_log_cstm_adshow_day_inc
  • 目标表:dwd_log_cstm_adshow_day_inc_tmp
  • 创建批处理工作流。
    • 注意变量名,具体可见 变量配置
    • 点击编辑节点 ,并添加相应节点。
  • 最后开启工作流即可。

我要将源表数据离线同步到目标表中,SQL 如下:

提交并部署代码,然后在工作流中点击触发运行 > 手动执行:

进入工作流实例列表与详情 查看:

当状态变成"已完成"时,测试数据是否已经同步完成

在数据地图中查看到数据已同步过来,符合预期,接下来尝试数据回刷功能,选择时间间隔 之后点击确定 执行:

进入工作流实例列表与详情 查看,状态全部变更"已完成":

最后去看下数据:

三、总结

经过对Flink批处理功能测试,结果符合预期, 但目前有的 connector 只支持 insert into的方式,不支持覆写,所以在尝试多次回刷数据之前,必须得清理分区数据,否则会重复。

相关推荐
wkj00122 分钟前
java 和 C#操作数据库对比
java·数据库·c#
不爱学英文的码字机器32 分钟前
数字孪生的浪潮:从虚拟镜像到现实世界的 IT 变革
大数据·python
编程在手天下我有33 分钟前
Redis 数据类型全览:特性、场景与操作实例
数据库·redis·数据结构与算法
左灯右行的爱情37 分钟前
缓存并发更新的挑战
jvm·数据库·redis·后端·缓存
kaamelai40 分钟前
Kaamel视角下的MCP安全最佳实践
大数据·人工智能·安全
anqi271 小时前
如何在 IntelliJ IDEA 中编写 Speak 程序
java·大数据·开发语言·spark·intellij-idea
Qiuner1 小时前
软件设计师速通其一:计算机内部数据表示
服务器·数据库·信号处理
互联科技报1 小时前
孙宇晨将出席迪拜Token2049 与特朗普次子共话加密未来
大数据
科技小E2 小时前
EasyRTC嵌入式音视频通信SDK智能安防与监控系统的全方位升级解决方案
大数据·网络·人工智能·音视频
刘翔在线犯法2 小时前
如何搭建spark yarn模式的集合集群
大数据·分布式·spark