flink基础概念之什么是时间语义

什么是时间语义

Flink支持三种不同的时间语义,以便处理流式数据中的事件时间、处理时间和摄入时间。

1. 处理时间(Processing Time)

处理时间的概念非常简单,就是指执行处理操作的机器的系统时间

在这种时间语义下处理窗口非常简单粗暴,不需要各个节点之间进行协调同步,也不需要

考虑数据在流中的位置,简单来说就是"我的地盘听我的"。所以处理时间是最简单的时间语义。

2. 事件时间(Event Time)

事件时间,是指每个事件在对应的设备上发生的时间,也就是数据生成的时间。

数据一旦产生,这个时间自然就确定了,所以它可以作为一个属性嵌入到数据中。这其实

就是这条数据记录的"时间戳"(Timestamp)。

3.摄入时间(Ingestion Time)

摄入时间是事件进入Flink系统的时间戳,表示数据被Flink系统摄入的时间。摄入时间允许在不引入水印的情况下,执行基于时间的操作。它适用于对事件时间不敏感的应用,但仍需要按顺序处理事件的情况。摄入时间不会考虑事件本身的时间戳,而是依赖于Flink系统在数据到达时记录时间。

处理时间与事件时间的比较

通常来说,处理时间是我们计算效率的衡量标准,而事件时间会更符合我们的业务计算逻

辑。所以更多时候我们使用事件时间;不过处理时间也不是一无是处。对于处理时间而言,由于没有任何附加考虑,数据一来就直接处理,因此这种方式可以让我们的流处理延迟降到最低,

效率达到最高。

相关推荐
Web3_Daisy4 小时前
Pump.fun 与 FOMO 竞争背后的 Meme 市场变局
大数据·人工智能·金融·web3·区块链
论文避坑指南6 小时前
论文写作全流程AI合规边界:从选题到投稿的“红绿灯“清单
大数据·人工智能·深度学习
V哥AI增长7 小时前
Schema.org 结构化数据与GEO技术落地:AI引擎引用机制与JSON-LD部署实证研究
大数据·运维·人工智能
嘉禾望岗5037 小时前
datagrip连接带有kerberos认证的hive
大数据·kerberos
爱吃面的猫9 小时前
大数据Kafka3.x之——Kafka3.3.0安装与使用(详细)
大数据·分布式·zookeeper
无忧智库9 小时前
别再“裸奔”等护网了!万字拆解常态化攻防运营体系:从“应试教育”到“实战免疫”的进阶实录(PPT)
大数据·架构
用户36105886261210 小时前
Spark 核心之自定义累加器以及版本对比变化深度剖析
大数据
观远数据10 小时前
当ChatBI遇上数据合规:AI+BI规模化落地的安全边界如何划定
大数据·人工智能·安全
具身智能进化论10 小时前
协作机器人产业进入规模化部署期,未来几年的增长从何而来
大数据·运维·人工智能·机器人·自动化·工厂方法模式
hzcj88811 小时前
汇正财经:储能装机回暖,估值有待提升
大数据·人工智能