【Flink学习】(六)Flink 三大时间语义 + 水位线 Watermark

本文我主要整理Flink 时间相关知识,实时计算最大难点:数据乱序,为窗口计算打下基础。

一、三大时间语义详解

1、处理时间

服务器处理数据的系统时间,最简单,无数据顺序要求

2、事件时间

数据本身自带的产生时间,实时业务生产首选

3、摄入时间

数据进入 Flink 程序的时间,极少使用

二、实时业务痛点:数据乱序

网络延迟、设备离线重连导致数据先后顺序错乱,直接影响统计结果准确性。

三、水位线 Watermark 核心作用

水位线是 Flink 内部时间时钟,用于告知 Flink 迟到数据最晚到达时间,解决乱序数据计算异常问题。

四、水位线实战编写代码

1、固定延迟水位线(企业最常用)

2、单调递增水位线

3、自定义水位线生成规则

五、迟到数据处理方案

设置允许迟到时间、侧输出流收集极端迟到数据,保证实时计算结果精准无误。

相关推荐
C++、Java和Python的菜鸟3 小时前
第2章 项目前置课-代码版本控制Git
大数据·elasticsearch·搜索引擎
小席是个热心肠3 小时前
AI相关的自我学习
java·人工智能·学习
Sammyyyyy4 小时前
如何在不停项目不停机的情况下切换AI大模型
大数据·人工智能
circuitsosk4 小时前
跨境电商智能化实战:AI如何赋能客服自动回复、广告智能投放与供应链预测
大数据·人工智能·python·langchain·智能客服
数智化管理手记6 小时前
海量数据如何沉淀有效数据资产?数据标准化治理方案如何搭建?
java·大数据·人工智能
何事误红尘6 小时前
Mqtt学习笔记(一):Mosquitto服务器搭建、MQTTX安装测试
学习
青山是哪个青山6 小时前
LangChain 学习笔记(三):LangSmith 调试与监控
笔记·学习·langchain
刀客Doc6 小时前
即时零售不只是多一个渠道,品牌开始重做终端生意
大数据·数据库
湘美书院--湘美谈教育6 小时前
湘美书院主理人谈AI文学:提示词与Skill的与时俱进
大数据·人工智能·安全·自动化·生活
weixin_549808366 小时前
人力资源数字化转型:从工具堆叠到AI原生架构的组织级跃迁路径
大数据·人工智能