flink生成水位线记录方式--基于特殊记录的水位线生成器

背景

在flink基于事件的时间处理中,水位线记录的生成是一个很重要的环节,本文就来记录下几种水位线记录的生成方式的其中一种:基于特殊记录的水位线生成器

基于特殊记录的水位线生成器

我们发送的事件中,如果带有某条特殊记录的元素代表了某种进度的标识的话,我们可以基于这条特殊的记录生成水位线,这样我们当收到这条特殊记录时就知道这个记录的时间戳之前的记录都已经全部收到了,也就是可以基于这条特殊记录发出水位线了。代码如下所示:

java 复制代码
public class SpecialRecordWaterMark extends AssignerWithPunctuateWaterMarks{

public long extractTimeStamp(event Event, previousTs long){
// 抽取记录的时间戳
 return event.getTimeStamp();
}

public WaterMark checkAndGetNextWaterMark(event Event, extractedTs long){
if(event is '特殊记录'){
	//发出水位线,这里的delay可以为0,也可以为比如一分钟等数值
	return new WaterMark(extractedTs - delay)
}else{
//不发出水位线记录
}
}
}

总结

基于特殊记录的水位线生成器的最大问题时,flink是并行处理输入记录的,你如何能确保特殊记录是比正常记录后处理的?我能想到的场景是比如kafka队列,所有你要处理的记录都在某个分区中有序,特殊记录也是分区有序的情况下才能使用这种方法生成水位线

相关推荐
Yz987615 分钟前
Hive安装-内嵌模式
大数据·linux·数据仓库·hive·hadoop·hdfs·bigdata
The博宇20 分钟前
大数据面试题--kafka夺命连环问
大数据·kafka
Mindfulness code27 分钟前
Kylin Server V10 下自动安装并配置Kafka
大数据·kafka·kylin
天冬忘忧1 小时前
Spark 中 RDD 的诞生:原理、操作与分区规则
大数据·分布式·spark
东方巴黎~Sunsiny1 小时前
如何评估Elasticsearch查询性能的具体指标?
大数据·elasticsearch·搜索引擎
2401_871290581 小时前
Scala的包及其导入
大数据·开发语言·scala
小伍_Five2 小时前
数据挖掘全景:从基础理论到经典算法的深度探索
大数据·数据挖掘·习题
武子康2 小时前
大数据-216 数据挖掘 机器学习理论 - KMeans 基于轮廓系数来选择 n_clusters
大数据·人工智能·机器学习·数据挖掘·回归·scikit-learn·kmeans
陈奕迅本讯2 小时前
ElasticSearch
大数据·elasticsearch·搜索引擎
Dreams°1232 小时前
【大数据测试 Elasticsearch — 详细教程及实例】
大数据·功能测试·elasticsearch·搜索引擎