【Flink学习】(四)Flink 常用转换算子,数据流数据处理

一、基础单数据流算子

Map 算子:一对一数据转换,字段修改、数据格式转换

FlatMap 算子:一对多数据拆分,字符串拆分、数组拆分

Filter 算子:数据过滤,剔除脏数据、无效数据

KeyBy 算子:数据流分组,等同于 SQL group by,实时分组核心

二、聚合类算子

sum 求和、max 最大值、min 最小值、reduce 自定义聚合算子,流式持续聚合计算

三、多数据流合并算子

Union:合并多条同类型数据流

Connect:合并不同类型数据流,相互关联处理

四、分流算子

Split 分流、SideOutput 侧输出流,将一条数据流拆分多分支,实现不同数据不同逻辑处理

相关推荐
淘矿人10 小时前
Claude辅助DevOps实践
java·大数据·运维·人工智能·算法·bug·devops
SeaTunnel11 小时前
AI 让 SeaTunnel 读源码和调试过时了吗?
大数据·数据库·人工智能·apache·seatunnel·数据同步
WL_Aurora12 小时前
MapReduce【Shuffle-Combiner】
大数据·mapreduce
Mortalbreeze12 小时前
深度理解文件系统 ---- 从磁盘存储到内核存储
大数据·linux·数据库
Bechamz13 小时前
大数据开发学习Day36
大数据·学习
C-200213 小时前
基于 JumpServer 容器化部署 ES 集群
大数据·elasticsearch·搜索引擎
captain_AIouo13 小时前
降本增效突围,Captain AI助力Ozon商家提升盈利空间
大数据·人工智能·经验分享·aigc
黎阳之光14 小时前
视听融合新范式!黎阳之光打破视觉边界,声影协同赋能全域智慧管控
大数据·人工智能·物联网·算法·数字孪生
iiiiyu15 小时前
集合进阶(Map集合)
java·大数据·开发语言·数据结构·编程语言