flink基础概念之什么是时间语义

什么是时间语义

Flink支持三种不同的时间语义,以便处理流式数据中的事件时间、处理时间和摄入时间。

1. 处理时间(Processing Time)

处理时间的概念非常简单,就是指执行处理操作的机器的系统时间

在这种时间语义下处理窗口非常简单粗暴,不需要各个节点之间进行协调同步,也不需要

考虑数据在流中的位置,简单来说就是"我的地盘听我的"。所以处理时间是最简单的时间语义。

2. 事件时间(Event Time)

事件时间,是指每个事件在对应的设备上发生的时间,也就是数据生成的时间。

数据一旦产生,这个时间自然就确定了,所以它可以作为一个属性嵌入到数据中。这其实

就是这条数据记录的"时间戳"(Timestamp)。

3.摄入时间(Ingestion Time)

摄入时间是事件进入Flink系统的时间戳,表示数据被Flink系统摄入的时间。摄入时间允许在不引入水印的情况下,执行基于时间的操作。它适用于对事件时间不敏感的应用,但仍需要按顺序处理事件的情况。摄入时间不会考虑事件本身的时间戳,而是依赖于Flink系统在数据到达时记录时间。

处理时间与事件时间的比较

通常来说,处理时间是我们计算效率的衡量标准,而事件时间会更符合我们的业务计算逻

辑。所以更多时候我们使用事件时间;不过处理时间也不是一无是处。对于处理时间而言,由于没有任何附加考虑,数据一来就直接处理,因此这种方式可以让我们的流处理延迟降到最低,

效率达到最高。

相关推荐
FindAI发现力量1 分钟前
智能工牌:线下销售场景的数字化赋能解决方案
大数据·人工智能·销售管理·ai销售·ai销冠·销售智能体
故事和你9125 分钟前
sdut-python-实验四-python序列结构(21-27)
大数据·开发语言·数据结构·python·算法
念陌曦1 小时前
Flink总结
大数据·flink
AMZ-Lu2 小时前
正本清源:亚马逊战场上的“原创者红利”与心智产权
大数据·人工智能·媒体·亚马逊
NOCSAH2 小时前
统好AI数智一体化平台:原生一体架构筑牢数智基底
大数据·人工智能·统好ai·数智一体化平台
diygwcom2 小时前
AI正在吞噬所有SAAS软件:一场颠覆性的技术革命
大数据·人工智能
威联通安全存储3 小时前
某大型食品饮料企业:基于威联通 TS-h1290FX 的中央数据管控与合规实践
大数据·人工智能·云计算
LY智网强哥3 小时前
企业怎么出现在AI回答里?GEO优化的原理、路径与边界
大数据·人工智能
guoji77884 小时前
Gemini 3.1 Pro 安全与对齐机制深度解析:可控性、合规性与企业级应用评估
大数据·人工智能·算法
q_35488851534 小时前
计算机毕业设计:Python当当网图书大数据分析平台 Django框架 爬虫 Pandas 可视化 大数据 大模型 书籍(建议收藏)✅
大数据·爬虫·python·机器学习·数据分析·django·课程设计