【大数据面试题】010 Flink有哪些算子

一步一个脚印,一天一道大数据面试题

这几天生病了,每天只睡2到4小时,吃药恢复了,就先来点简单的题

Flink 有哪些算子

这是一个挺简单的题,不过有时一问我,我还真只结结巴巴说出 map,flatmap 。那就来列举一下吧。

  • map 对流进行变形,使用函数进行变化,处理
  • flatmap 跟map类似,变形,使用函数进行变化,但不一样的是会把一个元素变为多个,类似于str.split(",")
  • filter 过滤出想要的元素
  • keyBy 指定某列进行分组,用于后续处理
  • reduce 需结合keyBy,对已分组的数据进行聚合处理
  • join 连接两个流
  • fromSource 获取Source,获取数据源
  • adsSink添加输出的Sink
  • print 打印数据
  • connect 两个流连接一起,跟join不一样的是不一定需要相同的key
相关推荐
科技新资讯11 分钟前
AI如何批量处理Excel文件? 从数据合并、清洗到自动生成报表,看看 AI Agent 怎么完成任务
大数据·人工智能·excel
SelectDB22 分钟前
存算分离冷查询提速 7.5 倍!Apache Doris 4.2 Peer Read 实现跨计算组缓存复用
大数据·数据库·数据分析
Thomas214333 分钟前
flink paimon 参数 ignore_progress=true
大数据·flink
IT规划师39 分钟前
面试中被嘲笑Token放在redis里,该如何应对?
redis·面试
QYRese41 分钟前
电镀用光刻胶需求稳步上行!预计 2032 年全球规模 288 百万美元
大数据
绿算技术44 分钟前
从单点性能到体系效能:存算网创新联合体启航
大数据·人工智能
1M551 小时前
AI应用后端工程(03):回答输出一半就断了:AI 流式接口如何定义成功与失败?
python·面试·职场和发展·计算机专业·agent开发
航天智算1 小时前
300 万预算 国产信创遥感 AI 全自动处理生产线配置实战
大数据·人工智能·昇腾·国产算力·算力适配
qyr67892 小时前
全球卫星遥感服务市场前景研究与行业发展趋势
大数据·人工智能·卫星遥感服务