Flink 流批一体之批处理进行数据同步

一、背景

作为流批一体的计算框架,Flink不仅能够提供低延迟的流式数据处理,也能进行高吞吐的批处理。使用或者微调同一套代码即可实现,本章将通过具体案例给大家讲解。

二、案例

本案例使用的是阿里云 Flink 实时计算平台

准备工作:

  • 源表 :dwd_log_cstm_adshow_day_inc
  • 目标表:dwd_log_cstm_adshow_day_inc_tmp
  • 创建批处理工作流。
    • 注意变量名,具体可见 变量配置
    • 点击编辑节点 ,并添加相应节点。
  • 最后开启工作流即可。

我要将源表数据离线同步到目标表中,SQL 如下:

提交并部署代码,然后在工作流中点击触发运行 > 手动执行:

进入工作流实例列表与详情 查看:

当状态变成"已完成"时,测试数据是否已经同步完成

在数据地图中查看到数据已同步过来,符合预期,接下来尝试数据回刷功能,选择时间间隔 之后点击确定 执行:

进入工作流实例列表与详情 查看,状态全部变更"已完成":

最后去看下数据:

三、总结

经过对Flink批处理功能测试,结果符合预期, 但目前有的 connector 只支持 insert into的方式,不支持覆写,所以在尝试多次回刷数据之前,必须得清理分区数据,否则会重复。

相关推荐
Rubin智造社15 小时前
# OpenClaude命令实战|核心控制三剑客/reasoning+/verbose+/status 实操指南
大数据·人工智能
山峰哥15 小时前
SQL优化实战:从索引策略到执行计划的极致突破
数据库·sql·性能优化·编辑器·深度优先
总要冲动一次16 小时前
离线安装 percona-xtrabackup-24
linux·数据库·mysql·centos
lcrml16 小时前
nacos2.3.0 接入pgsql或其他数据库
数据库
可观测性用观测云16 小时前
阿里云 Tair 集群版可观测最佳实践
云计算·监控
华奥系科技16 小时前
智慧经济新格局:解码社区、园区与城市一体化建设逻辑
大数据·人工智能·科技·物联网·安全
阿达_优阅达16 小时前
告别手工对账:xSuite 如何帮助 SAP 企业实现财务全流程自动化?
服务器·数据库·人工智能·自动化·sap·企业数字化转型·xsuite
IvorySQL16 小时前
IvorySQL v5 发布后,我们想听听大家的使用体验
数据库·postgresql·开源
Maverick0616 小时前
01- Oracle核心架构:理解数据库如何运转
数据库·oracle·架构
TDengine (老段)16 小时前
TDengine IDMP 组态面板 —— 画布
大数据·数据库·物联网·时序数据库·tdengine·涛思数据