Flink 流批一体之批处理进行数据同步

一、背景

作为流批一体的计算框架,Flink不仅能够提供低延迟的流式数据处理,也能进行高吞吐的批处理。使用或者微调同一套代码即可实现,本章将通过具体案例给大家讲解。

二、案例

本案例使用的是阿里云 Flink 实时计算平台

准备工作:

  • 源表 :dwd_log_cstm_adshow_day_inc
  • 目标表:dwd_log_cstm_adshow_day_inc_tmp
  • 创建批处理工作流。
    • 注意变量名,具体可见 变量配置。
    • 点击编辑节点 ,并添加相应节点。
  • 最后开启工作流即可。

我要将源表数据离线同步到目标表中,SQL 如下:

提交并部署代码,然后在工作流中点击触发运行 > 手动执行:

进入工作流实例列表与详情 查看:

当状态变成"已完成"时,测试数据是否已经同步完成

在数据地图中查看到数据已同步过来,符合预期,接下来尝试数据回刷功能,选择时间间隔 之后点击确定 执行:

进入工作流实例列表与详情 查看,状态全部变更"已完成":

最后去看下数据:

三、总结

经过对Flink批处理功能测试,结果符合预期, 但目前有的 connector 只支持 insert into的方式,不支持覆写,所以在尝试多次回刷数据之前,必须得清理分区数据,否则会重复。

相关推荐
Leo.yuan5 小时前
企业Data Agent架构选型:帆软Dora基于NL2BI的现有BI体系复用方案
大数据·人工智能
余槐i5 小时前
PostgreSQL 函数索引报错 must be immutable:3种绕法与代价
数据库·后端·sql·postgresql·性能优化
数据库小学妹5 小时前
PostgreSQL表膨胀怎么办?autovacuum清不动的根因与排查命令
数据库·postgresql·表膨胀·mvcc·数据库运维
mister_guo5 小时前
MySQL-1267错误:排序规则冲突的原因与解决方案
数据库·mysql
Geek-Chow6 小时前
05.1 · AWS Lambda 版本(Version)详解:$LATEST、不可变快照与限定 ARN
云计算
骇客野人6 小时前
在麒麟操作系统上 分别安装 jdk1.8, 达梦数据库,redis ,memcache 的操作实施方案和步骤
数据库·redis·memcached
Elastic 中国社区官方博客7 小时前
一条 ES|QL 查询,涵盖365天的审计日志:在热数据和可搜索快照上执行相同的搜索
大数据·运维·服务器·elasticsearch·搜索引擎·全文检索
美狐美颜SDK开放平台8 小时前
直播APP如何实现美白滤镜功能?视频美颜SDK技术开发方案详解
前端·数据库·人工智能·音视频·美颜sdk·直播美颜sdk·视频美颜sdk
亚川楼宇自控系统数据中心厂家8 小时前
事故风机监控:守护机房电池间等特殊区域的安全底线
大数据·安全
科技看点说9 小时前
2026年AI安全上市公司梳理:产品、认证与商业化进展
大数据·人工智能