Flink 流批一体之批处理进行数据同步

一、背景

作为流批一体的计算框架,Flink不仅能够提供低延迟的流式数据处理,也能进行高吞吐的批处理。使用或者微调同一套代码即可实现,本章将通过具体案例给大家讲解。

二、案例

本案例使用的是阿里云 Flink 实时计算平台

准备工作:

  • 源表 :dwd_log_cstm_adshow_day_inc
  • 目标表:dwd_log_cstm_adshow_day_inc_tmp
  • 创建批处理工作流。
    • 注意变量名,具体可见 变量配置
    • 点击编辑节点 ,并添加相应节点。
  • 最后开启工作流即可。

我要将源表数据离线同步到目标表中,SQL 如下:

提交并部署代码,然后在工作流中点击触发运行 > 手动执行:

进入工作流实例列表与详情 查看:

当状态变成"已完成"时,测试数据是否已经同步完成

在数据地图中查看到数据已同步过来,符合预期,接下来尝试数据回刷功能,选择时间间隔 之后点击确定 执行:

进入工作流实例列表与详情 查看,状态全部变更"已完成":

最后去看下数据:

三、总结

经过对Flink批处理功能测试,结果符合预期, 但目前有的 connector 只支持 insert into的方式,不支持覆写,所以在尝试多次回刷数据之前,必须得清理分区数据,否则会重复。

相关推荐
YangYang9YangYan8 小时前
网络安全专业职业能力认证发展路径指南
大数据·人工智能·安全·web安全
Y***98518 小时前
DVWA靶场通关——SQL Injection篇
数据库·sql
Yawesh_best8 小时前
告别系统壁垒!WSL+cpolar 让跨平台开发效率翻倍
运维·服务器·数据库·笔记·web安全
蒋士峰DBA修行之路8 小时前
实验二十八 SQL PATCH调优
数据库·sql·gaussdb
I***t7169 小时前
一条sql 在MySQL中是如何执行的
数据库·sql·mysql
小五传输9 小时前
常用的文件摆渡系统:让数据安全高效跨越网络界限
大数据·运维·安全
一 乐9 小时前
应急知识学习|基于springboot+vue的应急知识学习系统(源码+数据库+文档)
数据库·vue.js·spring boot
微学AI10 小时前
内网穿透的应用-突破局域网束缚,MongoDB 远程访问使用cpolar原来可以这么简单
数据库·mongodb
数据科学小丫11 小时前
数据分析与FineBI介绍
大数据·数据分析·finebi
ALex_zry11 小时前
Git大型仓库推送失败问题完整解决方案
大数据·git·elasticsearch