Flink 流批一体之批处理进行数据同步

一、背景

作为流批一体的计算框架,Flink不仅能够提供低延迟的流式数据处理,也能进行高吞吐的批处理。使用或者微调同一套代码即可实现,本章将通过具体案例给大家讲解。

二、案例

本案例使用的是阿里云 Flink 实时计算平台

准备工作:

  • 源表 :dwd_log_cstm_adshow_day_inc
  • 目标表:dwd_log_cstm_adshow_day_inc_tmp
  • 创建批处理工作流。
    • 注意变量名,具体可见 变量配置
    • 点击编辑节点 ,并添加相应节点。
  • 最后开启工作流即可。

我要将源表数据离线同步到目标表中,SQL 如下:

提交并部署代码,然后在工作流中点击触发运行 > 手动执行:

进入工作流实例列表与详情 查看:

当状态变成"已完成"时,测试数据是否已经同步完成

在数据地图中查看到数据已同步过来,符合预期,接下来尝试数据回刷功能,选择时间间隔 之后点击确定 执行:

进入工作流实例列表与详情 查看,状态全部变更"已完成":

最后去看下数据:

三、总结

经过对Flink批处理功能测试,结果符合预期, 但目前有的 connector 只支持 insert into的方式,不支持覆写,所以在尝试多次回刷数据之前,必须得清理分区数据,否则会重复。

相关推荐
ACP广源盛1392462567331 分钟前
GSV6155@ACP# Type-C 视频信号转换芯片:技术架构、工程痛点适配与落地场景分析
大数据·c语言·开发语言·人工智能·分布式·嵌入式硬件·架构
MartinYeung532 分钟前
[论文学习]Skill-MAS:面向自动多智能体系统的元技能进化
大数据·人工智能·学习
阳光九叶草LXGZXJ35 分钟前
达梦数据库-报错-11-cmd 13 validate error
linux·运维·数据库·sql·学习
PGCCC1 小时前
PostgreSQL 数据库认证体系技术解析:PCA / PCP / PCM 三级能力模型与考纲拆解
数据库·postgresql·pcm
wWYy.1 小时前
Mysql:覆盖索引
android·数据库·mysql
long3161 小时前
PostgreSQL 学习资料 · 入门 / 练习 / 精通 / 扩展
java·数据结构·数据库·spring boot·sql·postgresql·数据库开发
7177771 小时前
自主研发基础设施国产化:信创产业全貌与 Gitee 落地应用
大数据·gitee
starzy19901 小时前
Spark 核心之 Driver 原理剖析
大数据·ajax·spark
拳里剑气1 小时前
Linux:进程间通信
linux·运维·数据库·进程
阳光九叶草LXGZXJ2 小时前
达梦数据库-报错-12-[-7184]:对象定义[XXX]被修改,版本检查失败
linux·运维·服务器·数据库·sql·学习