Flink的一些面试题整理

1、flink的四大基石

state、Time、window、checkpoint

2、flink中的滚动窗口和滑动窗口的区别

滚动窗口:窗口长度=滑动距离,又分为滚动时间窗口、滚动计数窗口。

滑动窗口:窗口长度!=滑动距离,其中,如果滑动距离>窗口长度,会漏掉数据,反之则会重复处理数据比如要求是每隔1分钟,统计前面5分钟的数据(滑动距离1分钟,窗口长度5分钟,重复处理4分钟的数据)

3、flink中时间语义有哪些?如何处理迟到的数据

时间语义:

eventTime:事件时间,是时间真正发生时的时间

ingestionTime:摄入时间,是时间达到流处理系统的时间

ProcessingTime:处理时间,是时间被处理的时间

迟到的数据可以使用:

allowdelateness:水印+allowdelateness是短期延迟+等待长期延迟效果,达到水印条件后,会触发窗口计算,但是不关闭窗口。事件时间延迟达到水印+allowdelateness之后会关闭窗口

侧输出-SideOutput:通过watermark在短时间内允许了乱序到来的数据,可以将错过水印有错过allowdelateness允许的时间的数据,单独存放在一个DataStream中,然后开发人员可以自定义逻辑对这些超级迟到的数据进行处理。

4、flinkCore中都能读取哪些数据

基本数据类型

复制代码
// 从集合读取基本类型
Integer
Double
String
Boolean
Long序列

复合数据类型

Tuple(元组)、

POJO(普通Java对象)、

Case Class(Scala专用,Java中类似POJO)

数据库数据

Kafka消息队列数据

日志数据

订单数据

5、flink中常见的算子以及作用

1)Source:用来处理数据来源

fromSource、readFile、collection、Socket

其中socket是非并行的Source,该方法需要传入两个参数,一个是指定的ip或主机名,另一个是端口号
2)Transformaton-转换算子:

FlatMap:读取文件内容,

Filter:读取文件中的日志数据,并过滤出对应的ip,

KeyBy:分组,

Reduce:对一个dataset或group进行聚合计算,最终聚合成一个元素

union:可以合并多个同类型的流,可以去并集但是不会去重,且union合并的Datastream的类型必须是一致的。

collect:可以连接两个不同类型的流,两个流之间的数据类型可以不同,对两个流的数据可以分别应对不同的处理逻辑。

Side Outputs侧道输出(侧输出流):可以分流,例如将数据按照奇偶数进行分流,并获取数据。
3)Sink:调用Sink后才会产生最终的计算结果

print:打印,可以传入一个字符,指定一个Sink的标识名称,如果有多个打印的Sink,用来区分到底是哪一个Sink的输出。

Connectors:向JDBC数据库中写入数据,包括kafkaconnector,jdbcconnector。

6、窗口函数分为增量函数和全量函数,请编写对应的函数名

增量函数:reduce(reduceFunction)、aggregate(aggregateFunction)、sum()、min()、max()

全量函数:apply(windowFunction)、process(processWindowFunction)

相关推荐
阿部多瑞 ABU30 分钟前
正反馈的死亡螺旋:数字资本时代泛二次元文化-情感-金融复合体的系统性分析
大数据·人工智能·金融
zhbcddxr1 小时前
GEO服务商度量监测能力测评:可见度追踪与报表排行
大数据·人工智能·microsoft
科技发布1 小时前
拆解传播易服务模式,看清小红书团购从入驻变现完整逻辑
大数据·人工智能
智道天成2 小时前
杭州智道天成信息科技有限公司:助力浙江企业合规高效落地
大数据·人工智能·科技
一只鹿鹿鹿3 小时前
三甲综合智慧医院信息化总体解决方案(PPT文件)
大数据·运维·物联网·安全·政务
java1234_小锋3 小时前
【免费】基于Spark实时交通流量分析与拥堵预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品
java·大数据·spark·kafka·实时交通流量分析与拥堵预测
天国梦3 小时前
智习室英语学习工具选型指南:2026年品牌合作筛选方法与落地评估
大数据·人工智能
瓦学妹4 小时前
为什么您的AI总是显示“不支持的区域”?如何解决?
大数据·网络·人工智能
oh,huoyuyan4 小时前
跨境电商自动化运营工具推荐:火车采集器 & 火语言RPA
大数据·自动化·rpa
zcmodeltech4 小时前
化工装置沙盘模型多设备协同控制系统设计:基于STM32与Modbus RTU的装置-流程-安全联动方案
大数据·stm32·嵌入式硬件·安全·unity·制造